„Regel- und
Korrekturmechanismen in DSPbasierten Digitalkameras“
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Referent:
Dr.-Ing. Günter Uhlrich
(Geschäftsführer)
Kontakt:
ABS
Gesellschaft für Automatisierung,
Bildverarbeitung und Software mbH
Erlanger Allee 103
07747 Jena
Tel:
0 36 41 / 22 26 0
Fax:
0 36 41 / 22 26 11
E-Mail:
[email protected]
Profil der ABS GmbH Jena
Die ABS GmbH versteht sich als Entwickler und
Hersteller von speziellen an Kundenanforderungen
angepassten DSP-/FPGA-basierten Digitalkamerasystemen.
Die Basis dafür bildet langjährige Erfahrung
- auf dem Gebiet der Elektronikentwicklung und der
digitalen Signalverarbeitung
- als Systemintegrator auf dem Gebiet der digitalen
Bildverarbeitung
Die ABS GmbH verfügt über eine modular realisierte
Familie von industrietauglichen Kamerasystemen.
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Inhalt
1. Einleitung: Einsatzfelder für Digitalkameras mit DSP
2. ABS-Kamerafamilie USB2.0
3. Systemkonzepte von Kameras mit DSP
4. Helligkeitsregelung
5. Farbregelung
6. Bildverbesserung
7. Kamerasteuerung/sonstiges
8. Anwendungsmöglichkeiten für intelligente Kameras im
Sinne der Bildverarbeitung
9. Ausblick
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Motivation
Die Entwicklung der technischen Möglichkeiten einer in die Kameras integrierten
leistungsfähigen Elektronik (DSP/Speicher/FPGA) stellt die Entwickler und Hersteller
von modernen Kamerasystemen für kommerzielle Anwendungen auch vor ständig
steigende Erwartungen/Anforderungen an die Verarbeitungsfähigkeiten
(Verarbeitungsintelligenz) der Kamerasysteme.
Diese Erwartungshaltung wird verstärkt durch die hohe Funktionsvielfalt von
Digitalkameras für die private und auch professionelle Fotografie. Zwar können die oft
preiswerten Digitalkameras aufgrund ihrer extremen Optimierung auf Kosten,
Baugröße und Energieverbrauch die physikalischen Anforderungen kommerzieller
Kamerasysteme nicht erfüllen (Empfindlichkeit, Rauschen, Geschwindigkeit,
Homogenität der Pixeleigenschaften, Farbkonstanz, ...), jedoch prägen sie die o. g.
Erwartungshaltung.
Es ist nicht möglich, in einem 25-Minuten-Vortrag die Thematik eingehend
darzustellen. Deshalb kann nur versucht werden, einen Überblick über den Umfang
und die Komplexität zu geben. Einige Ausführungen erfolgen zu den zentralen Themen
Helligkeitsregelung, Weißabgleich, Farbregelung.
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
1. Einleitung (1)
Einsatzfelder für Digitalkamerasysteme mit DSP/FPGA:
• Industrielle Bildverarbeitung
• Robotik
• Überwachung/Zugangskontrolle
• Sicherheitsüberwachung
• Verkehrsüberwachung
• Maschinen-/Anlagenüberwachung
• Prozessüberwachung
• Biometrie (Gesicht, Hand, Finger, Iris)
• Mikroskopie
• Astronomie
• Photographie
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
1. Einleitung (2)
Regelmechanismen haben große Bedeutung bei Visualisierung
und Aufzeichnungssystemen:
Ziel:
Bildinformationen stärker hervorheben
Beispiele für Regelaufgaben:
• Regelung von Helligkeit und Ausleuchtung
• Farbkorrektur
• Rauschminderung
• geometrische Entzerrung
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
1. Einleitung (3) - Bildübertragungssystem (vereinfachtes Prinzip)
Sensor
AD-Wandler
Sensorsteuerung
Sensorkennlinie/LUT
Verstärkung
Area of Interest
Bild im SensorKoordinatensystem
Bildvorverarbeitung
Farbinterpolation
geometrische Entzerrung
Belichtungskorrektur
Farbbalanceanpassung
Farbraumanpassung
Monitor (Gamma-Korrektur)
Zwischenbild
Farbraumanpassung
Drucker
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
1. Einleitung (4)
Grenzen für Regelmechanismen bei
Digitalkameras mit DSP:
• Messende Bildverarbeitung:
Vorverarbeitung mit großer Vorsicht!
Gefahr der Bildverfälschung
Die beste Bildvorverarbeitung in der
messenden Bildverarbeitung ist
keine Vorverarbeitung!
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
2. ABS-Kamerafamilie mit USB2.0-Interface (1)
- Intelligente Digitalkameras auf DSP-/FPGA-Basis
Kameratyp
UK2000
UK2001
UK3075
UK3058
Bildauflösung
640 x 480
640 x 480
2048 x 1536
1360 x 1024
0,3 MPixel
0,3 MPixel
3,1 MPixel
1,4 MPixel
Format
VGA
VGA
QXGA
SXGA+
Sensor
1/3 ” CMOS
1/2 ” CMOS
1/2 ” CMOS
2/3 ” CCD*
monochrom / color
monochrom / color
color
Pixelgröße
7,5 x 7,5 m
9,9 x 9,9 m
3,2 x 3,2 µm
6,45 x 6,45 µm
A/D-Auflösung
12 bit
10 bit
10 bit
12 bit
Bildrate (Sensor)
30 fps
120 fps
12 fps
15 fps
Dynamikbereich
103 dB
60 dB
60dB
> 60 dB
Shutter
Rolling Shutter
Global Shutter
Rolling Shutter**
Global Shutter
monochrom / color
* Sony ExView HAD CCD
** Global Shutter Release für den Snapshot-Mode
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
2. ABS-Kamerafamilie mit USB2.0-Interface (2)
Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (1)
Kamerafamilie UK20xx
Kamerafamilie UK30xx
52 mm x 51 mm x 56 mm
52 mm x 51 mm x 90 mm
 robuste industrietaugliche Gehäusekonstruktion mit gängigen Anschraubmöglichkeiten
(von allen 4 Seiten sowie von der Frontfläche)
 C-Mount-Objektivanschluss
 kompakte Kamera 52 mm x 51 mm x 56 mm (90 mm bei UK30xx)
 interne Glasabdeckung als zusätzlicher Sensorschutz (Staub, Kratzer)
 Justagering für Auflagemaß (z. B. nutzbar für Makroeinstellungen des Objektivs;
ermöglicht Verwendung preiswerter Objektive mit Auflagemaßfehler)
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
2. ABS-Kamerafamilie mit USB2.0-Interface (3)
Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (2)
Rückansicht UK20xx/UK30xx
 schraubbare industrielle Steckverbinder, insbesondere
auch USB schraubbar
 2x4 SPS-taugliche I/O’s (optoentkoppelt; externe
Versorgungsspannung konfigurierbar; nominell 12 bzw.
24 V; kurzschlussfest)
 konzipiert zum Einsatz mit Blitzlichtsystemen
(insbesondere LED-Blitzsystemen)
 Triggerausgang für Blitzbeleuchtung “Extsync”
 Eingang für Bildtriggerung “Snapshot”; asynchroner Trigger
 geringer Leistungsverbrauch (< 2,5 W)
 weiter Eingangsspannungsbereich 9 ... 36 V
 entwickelt für hohe Zuverlässigkeit (Wärme, Kälte,Vibration,
USB2.0
geschraubt
Power
SPS-I/O
Kurzschlussfestigkeit der I/O’s, ...)
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
2. ABS-Kamerafamilie mit USB2.0-Interface (4)
Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (3)
 USB-Interface  Framegrabber ist nicht nötig !
- einfach zu handhaben; Plug & Play
- mehrere Kameras parallel am PC standardmäßig betreibbar, entsprechend
synchronisierbar
 leistungsfähiges SDK im Lieferumfang mit Demoprogramm und Codebeispielen zur
einfachen Integration in nutzereigene Software für Betriebssystem MS Windows
(Win98SE, Win2000, WinXP); optional auch für LINUX
 Kompatibilität zu gängigen Bildverarbeitungssystemen/Softwarepaketen wie
- VICOSYS
- HALCON
- MontiVision
- Neurocheck (in Vorbereitung)
 Softwareschnittstelle kompatibel zu DirectShow, damit nutzbar in vielen Windows
basierten Programmsystemen
 Firmwareupdate via USB
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
2. ABS-Kamerafamilie mit USB2.0-Interface (5)
Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (4)
 interner DSP/FPGA; Möglichkeit, die DSP-/FPGA-Verarbeitungsleistung Kundenwunsch
bezogen einzusetzen
 AOI; on-the-fly veränderbar
 horizontal, vertical and full binning
 Bildzähler mit präziser Zeitmarke (Time Stamp)
 LUT direkt in der Kamera, on-the-fly umschaltbar
 Bildspeicher inklusive (8 bis 32 MByte SDRAM); sicherer und robuster Bildeinzug
 modulares Konzept (OEM-Module verfügbar)
 wahlweise off-board / on-board Colorprocessing, d. h. decodiert Bayer-Pattern
(on board Bayer Demosaicing; on board RGB  YUV Generation; Color Correction)
Übertragungsbandbreite  PC-Entlastung
 Bilddatenkompression, Motion-JPEG (MPEG-4 in Vorbereitung)
 zusätzliche digitale Offset- und Gain-Anpassung für bestmöglichen Kontrast
 erweiterter Temperaturbereich des Sensors –40°C bis +85°C (UK2000)
 nichtlineare Sensorkennlinie  Übersteuerungsfestigkeit (UK2000)
 quadratische Pixel  geeignet für Messtechnik
 Real Time Shading-Korrektur (s/w oder RGB)
2. ABS-Kamerafamilie mit USB2.0-Interface (6)
Typische kundenspezifische Modifikationen
- Konstruktive Anpassung zur optimalen Integration in das Gesamtgerät, typisch
mit abgesetzten Bildsensoren
- Kamerasysteme mit meist mehreren synchronisierten Sensoren - „mehräugige
Systeme“
 verschiedene Blickrichtungen
 verschiedene Abbildungsoptiken (z. B. Weitwinkel- und Teleobjektiv)
 Multispektral-Systeme
 als Stereokamerasystem mit synchron getriggerter Bildauflösung
- Energie sparende Systeme für batteriebetriebene Geräte mit
Bilddatenkompression
- miniaturisierte Systeme mit extrem hoher Packungsdichte, z. B. mit Starr-FlexLeiterplatten ausgeführt
- Kamerasysteme mit direkter DVI-Monitorsignalausgabe
- low cost Mess- und Sensorsysteme mit Integration der gesamten
Geräteelektronik in die Kamerabaugruppe
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
3. Systemkonzepte von Digitalkameras
1. Kameras mit DSP
Blockschaltbild 1
• höhere Flexibilität
• einfachere Realisierung von speziellen Verarbeitungsalgorithmen
• intelligentere Verarbeitungsfunktionen
2. Kameras mit FPGA
Blockschaltbild 2
Aufgaben
• sehr hohe Verarbeitungsleistung
Farbinterpolation, Datenkompression, Filterung, Korrelation
• Nachteil: hoher Entwicklungsaufwand für spezielle Algorithmen
3. Kameras mit DSP und FPGA
Blockschaltbild 3a-3c
• Kombination der vorteilhaften Eigenschaften von DSP und FPGA
4. Kameras mit Spezialprozessoren
• Spezialprozessoren: SoC (Silicon on Chip), Webcam etc.
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
4. Helligkeitsregelung - Vorbereitung der Kamera
In vielen Fällen fehlt Licht.
Typische Prozedurabfolge:
• Schaffung optimaler Beleuchtungsbedingungen
• Blende vergrößern bis Tiefenschärfegrenze
oder Qualitätslimit des Objektivs erreicht ist
• Belichtungszeit vergrößern bis Grenze der
zulässigen Bewegungsunschärfe erreicht ist
• automatische Regelung starten
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
4. Helligkeitsregelung - Regelszenarien
Aufgabe: Anpassen der Dynamik der Kamera an die Dynamik der Szene
Dynamik
linear
Sensorkennlinie
nichtlinear
Wieviele Dekaden?
Histogrammregelung?
Anwendungsbeispiele:
Wieviele über-/untersteuerte Pixel zulassen?
Auswahl des Algorithmus
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
linear
kumulativ
www.abs-jena.de
5. Farbregelung (1)
Grundproblematik
- Menschliches Sehsystem kann starke Varianz der
Beleuchtung automatisch ausgleichen ohne den
Farbeindruck zu verfälschen.
- Farbkameras können diese intelligenten Algorithmen (noch) nicht
realisieren.
- Eine akzeptable Farbdarstellung erfordert neben dem Weißabgleich
eine beleuchtungsabhängige Farbraumtransformation, die sich auch
am Wiedergabemedium orientiert.
Bildübertragungssystem
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
5. Farbregelung (2)
Grundsätzliche Lösungsansätze:
1. Manuell Farbeindruck regeln
• Korrektur über Einstellelemente für
• Rot-, Grün-, Blauverstärkung
• Chrominanz Rot und Blau getrennt (2 Parameter)
• Farbtemperatur (1 Parameter)
2. Kalibriervorlage
• Kalibrierung mit Weißvorlage
oder Farbtafel (halbautomatisch)
• Farbabgleich durch Suche eines bekannten
(i. d. R. weißen) Objektes, z. B. Roboteranwendungen
3. Lichtmessung
• manuelle oder automatische Ermittlung der Beleuchtungscharakteristik
(Belichtungssensor mit Streuscheibe/Farbfilter)
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
5. Farbregelung (3)
Regelalgorithmen für den Weißabgleich:
- Gray-World-Algorithmus
- Annahme des perfekten Reflektors
- White-Patch (Retinex) Algorithmus
Farbregelung und Beleuchtung müssen zusammen betrachtet werden!
Spektrum des Beleuchtungslichtes aus dem Bild schätzen
und zur Korrektur heranziehen!
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
5. Farbregelung (4)
Probleme automatischer Regelalgorithmen
- Gray-World-Algorithmus (GW)
• Überkorrektur von Farbstichen (helle Bereiche)
- Annahme des perfekten Reflektors (PR)
• unvollständige Korrektur von Farbstichen (helle Bereiche)
- White-Patch (Retinex) Algorithmus (WP)
Das Ergebnis
erscheint häufig
subjektiv!
Retinex
• Überbewertung einzelner Pixel
Lösungsansätze:
- Hybridalgorithmen (GW + PR, GW + WP)
- Wichtung der Pixel, z.B. nach räumlicher und spektraler Nähe
- modifizierter Gray-World-Algorithmus nur für helle Pixel
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
6. Bildverbesserung (1)
1. Sensorkalibrierung (FPN-Korrektur)
• Offset-Korrektur “Offset Fixed Pattern Noise”
• Verstärkungsausgleich der Sensorelemente
“Gain Fixed Pattern Noise” oder PRNU
2. Shadingkorrektur
• Ausgleich von Beleuchtungsinhomogenitäten
• Ausgleich des optisch bedingten Randabfalls der Helligkeit
3. Geometrische Entzerrung und Korrektur
• Ausgleich nichtquadratischer Pixel
• Ausgleich von Objektiv-Verzeichnungen
• Entzerrung z.B. von “stürzenden Linien”, Luftbildentzerrung
• Skalierung und Drehung
Beispiele
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
6. Bildverbesserung (2)
4. Rauschverminderung
• Mittelwertfilterung
• gewichtete Mittelwertfilterung (z.B. Gaussfilter)
• nichtlineare Filterung (z.B. Medianfilter)
5. Kontrastverstärkung / Bildschärfeverbesserung
• Histogrammanpassung
• Kantenverstärkung
• Schärfeoperatoren (z. B. Unscharfmaskierung)
Beispiele
6. Bildstabilisierung Video
• konstantes Bildfeld
• bewegtes Bildfeld
• Zoom
• Kamerafahrt
• Kameraschwenk
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
7. Kamerasteuerung/sonstiges
Aufgaben für DSP/FPGA sind von konkreter Anwendung
abhängig, z.B.:
1. Autotrigger für messende Bildverarbeitung
• keine externen Triggersensoren nötig
• Intelligenter Aktivitätsdetektor
2. Autofokus/Belichtungssteuerung
• Steuerung von Autofokus und Blende
3. Möglichkeit für Datenkompression, z. B.
• Bild ins JPEG-Format konvertieren
4. Panoramabilderzeugung
• mit Farb- und Helligkeitsanpassung + geometrischer Entzerrung
5. Realisierung eines DVI-Ausgangs für moderne Monitore
6. Gesicherte Datenübertragung über USB/Firewire/LAN
7. Wavefront-coded image processing
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
8. Anwendungsmöglichkeiten für intelligente Kameras
Industrielle Bildverarbeitung
• Einsparung von PCs durch Kameras mit BV-Kompetenz
• Einsatz als kompakter Prüfsensor für
• geometrische Maße
• Anwesenheit von Teilen/Merkmalen
• Auslesen von Barcodes/Data-Matrix-Codes
Orientierung/Navigation im Roboterumfeld
• Objektlageerkennung
• Einsatz schneller Bildkorrelation für
Beispiel
• Navigation (als fortlaufende Bestimmung des Verschiebungsvektors)
• Lageregelung
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
9. Ausblick
• Image-Sensoren werden immer komplexer / intelligenter
 z.B.: Sensor Micron MT9V022
• Histogrammbasierte Helligkeitsregelung (AEC + AGC)
• Bildfeldsegmentierte Verstärkungseinstellung (Gain)
• Bildfeldgesteuerte (gewichtete)
Bestimmung der Helligkeitsregelgröße
• Stereo-Sensorbetriebsmodus
• Image-Sensoren werden immer fehlerhafter
Aufgaben:
- Beherrschung und Nutzung der neuen Features der Sensoren
© Micron
durch die Entwickler (auch Beherrschung / Umgehung der Fehler)
- Lösung der Problematik, die neuen Features für den Kameraanwender
handhabbar zu machen (Ergonomie)
 teilweise nur durch intelligente Regelalgorithmen oder durch
„Expertensystem“ beherrschbar
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Zum Schluss noch in eigener Sache:
• Bitte nennen Sie der ABS Ihre Anforderungen
an DSP-/FPGA-basierte Digitalkamerasysteme!
• Wir wünschen uns eine Kooperation mit Know-How-Trägern
auf dem Gebiet „Regel- und Korrekturmechanismen in DSPbasierten Digitalkameras“.
Kontakt:
Dr. Günter Uhlrich
ABS GmbH
Erlanger Allee 103
07747 Jena
Tel.: 0 36 41/22 26 0
Email: [email protected]
www.abs-jena.de
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
Vortragsanfang
www.abs-jena.de
Literaturauswahl
[1]
S. Süsstrunk, “Introduction to Color Processing in Digital Cameras”,
EPFL Lausanne, Switzerland, 2002.
[2]
B. Martinkauppi, “FACE COLOUR UNDER VARYING ILLUMINATION ANALYSIS AND APPLICATIONS”, University of Oulu, 2002.
[3]
J. Laine, “Using Illumination Information in Color Balance Adjustments”,
Graphic Arts in Finland 30(2001)1.
D. J. Jobson, Z. Rahman, G. A. Woodell, “A Multiscale Retinex for Bridging the
Gap Between Color Images and the Human Observation of Scenes”, IEEE
TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 7, 1997.
[4]
(http://dragon.larc.nasa.gov/retinex/)
[5]
U. Krüger, F. Schmidt, “Ortsaufgelöste Farbmessung”, TechnoTeam
Bildverarbeitung GmbH Ilmenau, FRAMOS CCD Forum 2003.
[6]
U. Schmidt, “Elektro-optische Charakterisierung von CMOS Sensoren am
Beispiel des STAR1000 Active Pixel Sensors”, Jena-Optronik GmbH, Jena.
[7]
Micron Technology Inc., “MT9V022 AEC and AGC Functions”,
Note, 1/3/2005.
[8]
Xilinx, Inc., „Image Scaling & Enhancement IP“, 2004,
Technical
(http://www.xilinx.com/esp/mil_aero/collateral/presentations/image_scaling_enhance.pdf)
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Anhang
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Bildübertragungssystem
Sensor
AD-Wandler
Sensorsteuerung
Sensorkennlinie/LUT
Verstärkung
Area of Interest
Bild im SensorKoordinatensystem
Bildvorverarbeitung
Farbinterpolation
geometrische Entzerrung
Belichtungskorrektur
Farbbalanceanpassung
Farbraumanpassung
Monitor (Gamma-Korrektur)
Zwischenbild
Farbraumanpassung
Drucker
zurück
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Blockschaltbild - Kamera mit DSP
SDRAM
Fast / Gigabit
Ethernet
Bilddaten
12 Bit
USB 2.0
Controller
Sensor
SensorSteuerung
(I²C)
DSP
I/O
(optoentkoppelt)
Power
zurück
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Blockschaltbild - Kamera mit FPGA
SDRAM
Fast / Gigabit
Ethernet
Bilddaten
12 Bit
USB 2.0
Controller
Sensor
SensorSteuerung
(I²C)
FPGA
I/O
(optoentkoppelt)
Power
zurück
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Blockschaltbild - Kamera mit DSP/FPGA (a)
SDRAM
Sensor
SDRAM
Power
Bilddaten
Fast / Gigabit
Ethernet
DSP
I²C
USB 2.0
Controller
FPGA
I/O
(optoentkoppelt)
DVI
Digital Visual I/F
weiter
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
zurück
www.abs-jena.de
Blockschaltbild - Kamera mit DSP/FPGA (b)
SDRAM
SDRAM
Power
Bilddaten
Fast / Gigabit
Ethernet
Sensor
DSP
I²C
USB 2.0
Controller
FPGA
I/O
(optoentkoppelt)
DVI
Digital Visual I/F
weiter
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
zurück
www.abs-jena.de
Blockschaltbild - Kamera mit DSP/FPGA (c)
SDRAM
SDRAM
Bilddaten
Power
Fast / Gigabit
Ethernet
Sensor
DSP
I²C
USB 2.0
Controller
FPGA
I/O
(optoentkoppelt)
DVI
Digital Visual I/F
zurück
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Kontrastverstärkung mit kumulativem Histogramm
Histogramm Originalbild
Transferfunktion
Grauwertübersetzung
Histogramm
kontrastverstärktes
Bild
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
zurück
www.abs-jena.de
Dynamikanpassung Originalszene - Kamerasystem
Szene:
Kamerasystem:
12 Bit
zurück
8 Bit
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Schnelle Kreuzkorrelation - Verschiebungsvektor
Ermitteln des Verschiebungs-/Geschwindigkeitsvektors
Suchfenster
Merkmale:
• pixelgenau
• robust gegen Störungen (z.B. Beleuchtungsänderungen)
Bedingungen:
• genügend strukturiertes Bild + ausreichend Überlappung
• keine periodischen Strukturen innerhalb des Bildes
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
weiter
zurück
www.abs-jena.de
Schnelle Kreuzkorrelation - Navigation
Bestimmung der Bahnkurve
aus einer Abfolge von
Verschiebungsvektoren
Kameradrehungen sind hier nicht betrachtet, lassen sich aber
mit einem ähnlichen Algorithmus berücksichtigen
zurück
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Aufgaben für FPGA
Typische Aufgaben, die elegant durch FPGA-Nutzung
realisiert werden können.
• Bildskalierung
• Bilddrehung
• Farb-/Gammakorrektur
• mehr Farben mit Rasterung/Halftoning
• Kontrast-, Helligkeits-, Schärfverbesserung
• Rauschminderung
zurück
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Bildskalierung
weiter
zurück
Quelle:
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
XILINX
www.abs-jena.de
Bilddrehung
zurück
Quelle:
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
XILINX
www.abs-jena.de
Ästhetische Bildverbesserung
Kontrast
Helligkeit
weiter
Schärfe
zurück
Schattenaufhellung
Quelle:
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
XILINX
www.abs-jena.de
Spatial Enhancement / Kantenverstärkung
weiter
zurück
Quelle:
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
XILINX
www.abs-jena.de
Bildschärfung
geschärft
original
zurück
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
lineare Histogrammentzerrung (1)
Histogramm
flaues Bild
Gradationskurve
Histogramm
nach
Entzerrung
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
weiter
zurück
www.abs-jena.de
lineare Histogrammentzerrung (2)
Histogramm
flaues Bild
Gradationskurve
Histogramm
nach
Entzerrung
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
zurück
www.abs-jena.de
Retinex - Beispiele 1, 2
weiter
zurück
Quelle: Jobson et al
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Retinex - Beispiel 3
Quelle: Jobson et al
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
weiter
zurück
www.abs-jena.de
Retinex - Beispiel 4
weiter
zurück
Quelle: Jobson et al
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Retinex - Beispiel 5
weiter
zurück
Quelle: Jobson et al
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
www.abs-jena.de
Retinex - Beispiel 6
weiter
Quelle: Jobson et al
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
zurück
www.abs-jena.de
Retinex - Beispiel 7
Quelle:
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
Jobson et al
weiter
zurück
www.abs-jena.de
Retinex - Beispiel 8
zurück
Quelle:
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena
Jobson et al
www.abs-jena.de

Regel- und Korrekturmechanismen in DSP