Georeferenzierung von
Videos und Bildern
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Inhalt
1.
2.
3.
4.
5.
6.
Motivation
Grundlagen
Beispiel: Pariser Brücke
Video Compass
Panorama-Aufnahme
Patent
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Grundlagen
Bei der Modellierung der Aufnahme benötigt man 3
Koordinatensysteme:
1. Objektkoordinatensystem So
2. Kamerakoordinatensystem Sk
3. Koordinatensystem in
der Bildebene Sc
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Grundlagen
Bei der Orientierung der Kamera unterscheidet man :
• Äußere Orientierung (ÄO):
– sie bestimmt die räumliche Lage der Kamera bezogen
auf das Objektkoordinatensystem
– Räumliche Bewegung wird durch 3 Translations- und 3
Rotationsparameter bestimmt
•
Innere Orientierung (IO):
– sie enthält die Koordinatentransformation zwischen Sk
und Sc (Hauptpunkt, Kamerakonstante) sowie die
Korrektur der Abbildungsfehler (Scherung, Maßstab)
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Grundlagen
• Falls IO der Kamera bekannt:
 kalibrierte Kamera
• Falls IO nicht oder nur teilweise bekannt:
 nicht kalbrierte Kamera
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Projekt:
Simulation verschiedener Beleuchtungssysteme für Brücken in
Paris und deren Einfluß auf die Umgebung
Beispiel:
Aufnahme einer 300 Bilder großen Sequenz einer speziellen
Brücke, der Pont-Neuf
Notwendig:
robuste Methode zur Berechnung der Position der Kamera, um
damit die virtuellen Objekte in die richtige Stelle im Bild
einzuordnen
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
160.Bild der Sequenz von anderer Brücke in der Dämmerung aufgenommen
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
• Keine Informationen über ÄO der Kamera
• Features (Punkte, Bögen) werden automatisch
detektiert
Ausnahme: 1.Bild
Ablauf:
• Im ersten Bild werden nicht-koplanare features
gesucht und halbautomatisch mit den
entsprechenden features im 3D-Modell gematched
• Diese features dienen zur Berechnung einer
Schätzung der Kameraposition nach DeMenthon
und Davis
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
• die anfängliche Schätzung wird durch eine robuste
Minimierung der Projektionsfehler verfeinert
 Berechnung des Kamerastandpunktes
• Einarbeitung des virtuellen Objektes ins Bild
• Die features, die im 1.Bild detektiert worden sind
werden über die Sequenz getracked und mit den
3D-features gematched
 Berechnung des Kamerastandpunktes für jedes
Bild der Sequenz nach dieser Methode
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Augmented-reality Schleife:
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Image Synthesis:
• Modellierung der 3D-Brücke mittels alter
Konstruktionspläne
• unterteilt man in 3 Prozesse:
1. Modellierung der Geometrie
2. Modellierung der Bestandteile der
Oberflächenmaterialien
3. Modellierung der Position und
Beleuchtungsintensität der virtuellen Lichtquelle
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Image compositions:
• Nach Berechnung des Kamerastandpunktes für
jedes Bild, werden die computergenerierten Bilder
durch sogenannte ray-casting Algorithmen erstellt
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Kamerakalibrierung:
• IO wird durch ein Referenzobjekt in ca. 3m
Entfernung zur Kamera bestimmt
• Grund für die Trennung der Bestimmung der IO und
des Kamerastandpunktes liegt in der Anzahl der
features
• Bei der Bestimmung des Kamerastandpunktes liegt
die Anzahl der features zwischen 10 und 20
 mangelhaft zur Ausführung einer kompletten
Kalibrierung
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Kamerakalibrierung (Methode nach DeMenthon und
Davis):
feature points
f
O = Kamerazentrum
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Kamerakalibrierung:
W = R*T
Perspektive Projektionsmatrix M =
( )
f
0
0
0
f
0
0
0
1
*W
Unbekannte Parameter:
• Translation: X0; Y0; Z0
• Orientierung des Kamerasystems (Rotation): i, j, k
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Methode nach DeMenthon und Davis:
• k = i x j ,da k orthogonal zur ij-Ebene
• Hier gilt:
Gesucht:
X0; Y0; Z0, i, j, k
bzw.
 es müssen nur die Unbekannten Z0, i, j bestimmt
werden
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Perspektive Projektion:
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Gesucht:
X0; Y0; Z0, i, j, k
Frank Ottmann
Beispiel: Pariser Brücke
Perspektive Projektion:
skalar multiplizieren mit i
* i = ... ~
Faktoren hier vernachlässigt
* i = ... ~
* i = 0, da orthogonal

12.12.2002
mit
= kleiner Wert
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Gesucht:
X0; Y0; Z0, i, j, k
Perspektive Projektion:
mit
mit
 Gleichungssystem:
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Beispiel: Pariser Brücke
Orientierungsschätzung mittels POSIT-Algorithmus:
1.Näherung:
 Z0, i, j 
2.Iteration:

3.Iteration: ...
usw.
 Ergebnis für Z0, i, j
 Ergebnis für X0, Y0, k
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Paris
Ergebnis der Simulation
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Video Compass
Prinzip:
Gewinnung der Relativen Orientierung (RO) mit Hilfe
von Fluchtpunkten und Fluchtlinien
•
•
Fluchtpunkte schneiden sich bei parallelen
Geraden in der Realwelt im Unendlichen
Wegen des Effekts der perspektiven Projektion
schneiden sich parallele Linien der Realwelt im
Bild
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Video Compass
Ansatz: x´= P X
mit x´= [ x´, y´, 1] T
und X = [ X, Y, Z, 1]
T
3 Fluchtpunkte im Unendlichen = unendlich ferne
Punkte
• unendlich ferner Punkt in x-Richtung: v1 = [1,0,0,0]T
T
• unendlich ferner Punkt in y-Richtung: v2 = [0,1,0,0]
• unendlich ferner Punkt in z-Richtung: v3 = [0,0,1,0]T
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Video Compass
x´= P v1  x´= [p11, p21, p31]T
1. Spalte der Projektionsmatrix P
x´= P v2  x´= [p12, p22, p32]T
2. Spalte der Projektionsmatrix P
x´= P v3  x´= [p13, p23, p33]T
3. Spalte der Projektionsmatrix P
 Fluchtpunkte im Bild suchen
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Video Compass
• Dazu werden die Linien im Bild detektiert
• Zur Berechnung der Fluchtpunkte werden nur
Linien mit einer Länge von mind. 5% der
Bildbreite benutzt
• Automatische Suche nach Fluchtpunkten und
deren geschätzten Koordinaten wird mittels EMAlgorithmen
(Wahrscheinlichkeitskeitsmaximierung) vollzogen
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Video Compass
Problem: Fluchtpunkte sind nicht immer eindeutig
 Lösung über Kleinste-Quadrate
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Video Compass
Kalibrierung:
Für nicht kalibrierte Kameras gilt:
Einheitsvektoren:
Fluchtpunkte:
Wegen Orthogonalität:
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Video Compass
Mit
Für 3 im Bild detektierte Fluchtpunkte gibt es 3
Beschränkungen der Matrix S:
Durch Cholewsky-Zerlegung von S erhält man
Kalibriermatrix
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Panorama-Aufnahme
MIT City Projekt:
• Ziel: vollautomatische Rekonstruktion einer 3DStadtlandschaft aus Bildern
• Bewegliche Plattform mit Kamera macht
Panoramaaufnahmen mit genäherten
Orientierungs- und Positionsdaten
 durch on-board Sensoren wie GPS,
Beschleunigugsmesser, Meterzähler
• Aufnahmestandpunkte heißen nodes
• Abstände zwischen den Aufnahmenstandorten ca.
5-10m
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Panorama-Aufnahme
• Annahmen:
– IO ist bekannt
– Rotation wird aufgezeichnet
– Ungefähre Bewegung der Kamera ist bekannt
Prinzip:
• Suche benachbarter nodes-Paare
• Schätzung der Basislinie zwischen den nodes
• Schätzung der Bewegungsrichtung für jedes Paar mittels
Hough-Transformation und Monte-CarloWahrscheinlichkeitsmaximierung
 alle geschätzten Bewegungen gehen in eine Optimierung
ein, die die Kameraposition berechnet
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Patent
Patent vom 28.12.2000:
Elektronische Schaltung zur Aufzeichnung von
geographischen Positionsdaten auf dem Tonkanal
eines Camcorders.
Ziel:
Aufgenommene Bildsequenzen auf einfache Weise
zu den entsprechenden Aufnahmeorten zu
referenzieren
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Patent
Aufbau:
• Anschluß des GPS-Empfängers über den 1. Schaltungsteil
mit Mikrofon- oder Audioeingang des Camcorder
• Nahezu Synchrone Aufnahme der Bilder und der aktuellen
geographischen Position auf Aufzeichnungsmedium (z.B.
Magnetband)
• Zur Nachbearbeitung: Anschluß des Videoausgangs des
Camcorders über 2. Schaltungsteil mit einem PC
• Datenverarbeitungsprogramm zeigt Landkarte mit markierten
Orte der Filmaufnahme
• Durch Mausklick auf einen bestimmten Ort werden
automatisch die entsprechenden Filmsequenzen angezeigt
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann
Patent
• Camcorder zeichnet i.d.R. Aufnahmezeiten mit auf, bzw.
Aufnahmezeiten sind in den GPS-Informationen
enthalten
 Datenverarbeitungsprogramm errechnet bereiste
Route
• Mittels Schnittprogramm kann Film und Karte zu einem
kompletten Film zusammgesetzt werden
• Bei Kameras mit Stereo-Tonaufzeichnung genügt ein
Tonkanal für kontinuierliche Aufnahme der GPS-Signale
• Es besteht Möglichkeit der Differenzkorrektur mittels
Differential-GPS (Verbindung PC mit Internet):
 Ortsgenauigkeit von ca. 1m
12.12.2002
Multimediale Visualisierung ortsspezifischer Informationen
Vertiefer GIS
Frank Ottmann

Georeferenzierung von Bildern und Videos