SEP
Mimikerkennung in Videobildern
Christoph Mayer
Sylvia Pietzsch
Inhalt
• Generelles zur Mimikerkennung
–
–
–
–
Wozu Mimikerkennung?
Einsatzgebiete
Die sechs Hauptmimiken
Wieso ist Mimikerkennung schwierig?
• Auswahl bisheriger Arbeiten
– Arbeit von Tian, Kanade und Cohn
– Arbeit von Schweiger, Bayerl und Neumann
• Unsere Vorgehensweise
• Zusammenfassung
Wozu Mimikerkennung?
• Traditionelle Kommunikation zwischen
Mensch und Computer: Tastatur, Maus,
Bildschirm
• Zwischenmenschliche Kommunikation:
Sprache, Mimik, Gestik
• Ziel der Mimikerkennung durch den
Computer: Übertragung intuitiver
Kommunikation auf die Mensch-MaschineSchnittstelle
Einsatzgebiete
• Interaktiver Verkaufsagent Cosima
• Automobil und Flugzeug: Erkennung von
Müdigkeit, Aggression von Autofahrern,
Piloten, Fluglotsen
• Emotionale Computer
• Erfassung der Kundenzufriedenheit
• Interaktive Lehr- und Lernsysteme
Die sechs Hauptmimiken
• Ekman und Friesen: sechs Hauptmimiken,
die in allen Kulturkreisen erkannt und
angewendet werden
 Überraschung, Lachen, Angst, Wut,
Trauer, Ekel
• 42 „Action Units“ im Gesicht kodieren
Muskelbewegungen im Gesicht (FACS)
Wieso ist Mimikerkennung
schwierig?
• Feine, diffizile Bewegungen, die schwer zu
messen sind
• Intuitive Bewegungen, die man nicht
bewusst ausführt und daher nicht bewusst
umschreiben kann
• Unterschiedliche Gesichtsproportionen
und Hautfarben
• Unterschiedliche Intensität von Mimiken in
verschiedenen Kulturkreisen
Arbeit von Tian, Kanade und Cohn
• Erkennung mittels
Falten und Action
Units
• Klassifikation mit
neuronalem Netz
• Arbeit mit zwei
Datenbanken: CohnKanade und EkmanHager
Arbeit von Schweiger, Bayerl und
Neumann
• Verwendung von Optical Flow
• Aufteilung des Gesichts in sechs Bereiche
• Bildung eines Bewegungsvektors pro
Bereich
• Klassifikation mit neuronalem Netz
 ähnlicher Ansatz wie in unserem Projekt
Unsere Vorgehensweise
Zweidimensionales Gesichtsmodell:
134 Punkte beschreiben Augen,
Augenbrauen, Nase, Mund,
Gesichtskontur
17 Parameter beschreiben
Deformationen
Dynamisches Gitter mit 140 Punkten
wird über das Gesicht gelegt.
An den Gitterpunkten wird der Optical
Flow berechnet.
Unsere Vorgehensweise (2)
• Verwendung der Cohn-Kanade-FacialExpression-Database
• Datenreduktion und Finden von Hauptkomponenten mittels Hauptachsentransformation
• Klassifikation mittels binärer Entscheidungsbäume (C4.5-Algorithmus)
• Erstellung der Entscheidungsbäume
mittels WEKA
Zusammenfassung
• Mimikerkennung zur Verbesserung der
Kommunikation zwischen Mensch und
Maschine
• Sechs Hauptmimiken
• Verschiedene Herangehensweisen: Action
Units, Optical Flow, Faltenbildung …
• Darstellung der Herangehensweise in
unserem Projekt mittels Gesichtsmodell
und Optical Flow

Vortrag