Interaktionskomponenten
für Collaborative Workspaces
Vortrag Anwendung 2
zum
Masterprojekt „UbiComp“
Vortrag Ringvorlesung: Christian Fischer
11. Januar 2006
Interaktionskomponenten für CW
Agenda
1. Einführung
 Einordnung in das gesamte Masterprojekt
2. Alternative Eingabegeräte (Teil 2)
3. Nintendo Wii Remote:
 Vorbild des Grabstick
 Systembeschreibung
 Bewertung der Funktionalität
 aktuelle Wiimote-Projekte
4. Fazit und Ausblick
Vortrag Ringvorlesung: Christian Fischer
1
Interaktionskomponenten für CW
Einordnung in das gesamte Masterprojekt
Komponenten der Masterarbeit
Anwendung 1
Einleitung
Motivation und Szenario
Seminar
Einleitung
Anforderungsanalyse und Zielsetzung
Anwendung 2
Analyse
spezieller Vergleich mit vorhandener HW
Projekt
Design und Realisierung
Machbarkeitsnachweis
Vortrag Ringvorlesung: Christian Fischer
2
Interaktionskomponenten für CW
In der Seminararbeit wurde behandelt:
1. Entwurf einer Systemarchitektur für Interaktionskomponenten in
Collaborative Workspaces
2. Entwurf eines geeigneten Gerätes nach Validierung möglicher
Eingabegeräte aus „Anwendung 1“
Rückblende
Vortrag Ringvorlesung: Christian Fischer
3
Interaktionskomponenten für CW
Rückblende: Grobentwurf Grabstick
- Handteil als Interaktionselement
- In die Front integriert, nimmt eine Miniaturkamera das auf, worauf das Handteil
gerichtet wird
- Infrarot-Dioden kennzeichnen den Rand des Bildschirmbereiches; ein InfrarotSperrfilter vor der Kamera macht die Identifikation der Kanten sehr einfach
Infrarot-LEDs
Display
IR-Sperrfilter
aufgenommenes Bild mit
IR-Sperrfilter
Vortrag Ringvorlesung: Christian Fischer
4
Interaktionskomponenten für CW
Beispiel-Projekte im Bereich Interaktion gemäß Anforderungen
Device Tracking
• VisionWand - Tracking der markanten
Punkte eines Stabes [DT2_Cao]
– Pointing, Orientierung
– statischer Kamera-Aufbau notwendig
•
Direct Hand Pointing [DT2_Vogel]
Vortrag Ringvorlesung: Christian Fischer
5
Interaktionskomponenten für CW
Beispiel-Projekte im Bereich Interaktion gemäß Anforderungen
Interaktion via Infrarot-Laser
• Extraktion des Laserpunkes
• Errechnung von Orientierung durch Mehrfachlaser (IR Stylus)
• statischer Kamera-Aufbau notwendig
• mehrbenutzerfähig durch Signaltriggerung
und Senden von ID‘s [L4_Bi]
Projekte: [L1_ Matveyev], [L2_Olsen], [L3_Cheng],
[L4_Bi], [L5_Meyrs]
IR-Stylus [L1_ Matveyev]
Vortrag Ringvorlesung: Christian Fischer
6
Interaktionskomponenten für CW
Beispiel-Projekte im Bereich Interaktion gemäß Anforderungen
Interaktion via Handheld
• frei von zusätzlichen statischen Aufbauten (z.B. Kameras)
• relative Bewegung von Objekten
• mehrbenutzerfähig
Referenzprojekte: [H1_JJang], [H2_Jeon], [H3_Slay]
Direct Pointer [H1]
Vortrag Ringvorlesung: Christian Fischer
7
Interaktionskomponenten für CW
Beispiel-Projekte im Bereich Interaktion gemäß Anforderungen
Interaktion via „Maus“
• optische Maus in ovalem Gehäuse
• indirektes Zeigegerät mit Button
• mehrbenutzerfähig
• beschränkte Funktionalität
Soap [M1_Baudisch]
Vortrag Ringvorlesung: Christian Fischer
8
Interaktionskomponenten für CW
Vorbild für den „Grabstick“:
„Wiimote“- Controller der „Nintento Wii“- Console
… Zeit, diesen genauer zu betrachten, Gesichtspunkte:
• Primär
–
–
–
–
Zeigerpositionierung
Orientierung
Lokalisierung
Druck (Taster)
• Sekundär
– Bewegung (Richtung und Kraft)
– Haptik
Vortrag Ringvorlesung: Christian Fischer
9
Interaktionskomponenten für CW
Systembeschreibung - Hardware: Nintendo Wiimote
Eingabe
• Infrarot-Modul:
PixArt Multi-Object Tracking™ engine
(MOT sensor™)
• 3-achsiger Beschleunigungssensor:
Analog Devices ADXL330
• 12 Tasten
Vortrag Ringvorlesung: Christian Fischer
10
Interaktionskomponenten für CW
Systembeschreibung - Hardware: Nintendo Wiimote
Ausgabe
• Vibrator
• Lautsprecher
Kommunikation
• Bluetooth HID:
Broadcom BCM2042
Vortrag Ringvorlesung: Christian Fischer
11
Interaktionskomponenten für CW
Systembeschreibung - Funktionalität: Nintendo Wiimote
Primär

• Zeigerpositionierung
geometrisch in Kombination
mit Nintendo „sensor bar“
()
• Orientierung
beschränkt mit Beschleunigungssensor
(Rotation um X und Rotation um Y)
Vortrag Ringvorlesung: Christian Fischer
12
Interaktionskomponenten für CW
Systembeschreibung - Funktionalität: Nintendo Wiimote
Primär
• Lokalisierung
nicht möglich
• Druck (Taster)


Sekundär
• Bewegung (Richtung und Kraft)
Beschleunigungssensor
• Haptik
Vibrator


Vortrag Ringvorlesung: Christian Fischer
13
Interaktionskomponenten für CW
Systembeschreibung - Funktionalität: Nintendo Wii
zusätzliche Ausstattung
• akustische Rückmeldung über Lautsprecher
• optische Rückmeldung über 4 LED
• Personalisierung über Avatare
Vortrag Ringvorlesung: Christian Fischer
14
Interaktionskomponenten für CW
Knowledge Base – WiiLi.org
Ziel
• Linux-Portierung auf die Nintendo Wii-Konsole
nützliche Informationen bezüglich Wiimote
• Hardware
• Kommunikation
• Treiber
Vortrag Ringvorlesung: Christian Fischer
15
Interaktionskomponenten für CW
Aktuelle Treiberprojekte für Nintendo Wiimote
RMX Automation
Einbindung vordefinierter Eingabegeräte (via Plugins) in Anwendungen durch
Mapping von Events.
• einfache Zuweisung von
Befehlen
• Unterstützung einer
Wiimote
Vortrag Ringvorlesung: Christian Fischer
16
Interaktionskomponenten für CW
Aktuelle Treiberprojekte für Nintendo Wiimote
WiinRemote
Einbindung der Wiimote in Anwendungen durch Mapping von Events.
Vortrag Ringvorlesung: Christian Fischer
17
Interaktionskomponenten für CW
Aktuelle Treiberprojekte für Nintendo Wiimote
GlovePIE
Einbindung beliebiger Eingabegeräte in Anwendungen durch Mapping von Events
• Scripts mit einfacher
Syntax
• Implementierungsfreiraum ermöglicht
umfangreiche
Funktionalität
• Unterstützung von 8
Wiimotes
• stark ausgeprägte
Gemeinschaft
Vortrag Ringvorlesung: Christian Fischer
18
Interaktionskomponenten für CW
Aktuelle Treiberprojekte für Nintendo Wiimote
Remote Buddy
Einbindung vordefinierter Eingabegeräte (via Plugins) in Anwendungen durch
Mapping von Events.
Vortrag Ringvorlesung: Christian Fischer
19
Interaktionskomponenten für CW
weitere aktuelle Treiberprojekte für Nintendo Wiimote
Mac OS X
• DarwiinRemote
Emulation von AppleRemote, keine Unterstützung des Mauszeigers via IR
Linux
• WMD
Mapping von Events, Unterstützung des Mauszeigers via IR
• Cwiid
Auslesen der Events, keine Unterstützung des Mauszeigers via IR
• Wiimotecomm
nur zum Testen von Verbindungen zur Wiimote
Vortrag Ringvorlesung: Christian Fischer
20
Interaktionskomponenten für CW
Fazit und Ausblick
Neue Erkenntnisse zur Nintendo Wiimote
• Technologie erfüllt Anforderungen
-> Aktualisierung Projektplan
• Validierung: Portierung auf PC
• Zielgerichteter Einsatz des Controllers im CW
• Zusätzlicher Schwerpunkt: Implementierung der Funktionsebene
Vortrag Ringvorlesung: Christian Fischer
21
Interaktionskomponenten für CW
Projektreferenzen
[DT1_Cao] „VisionWand: Interaction Techniques for Large Displays using a Passive WandTracked in 3D”, 2003
Xiang Cao, Ravin Balakrishnan - Department of Computer Science, University of Toronto
[DT2_Vogel] „Distant Freehand Pointing and Clicking on Very Large, High Resolution Displays”, 2005
Daniel Vogel, Ravin Balakrishnan - Department of Computer Science, University of Toronto
[L1_Matveyev] „The Optical Tweezers: Multiple-Point Interaction Technique”, 2003
Sergey V. Matveyev, Martin Göbel - Fraunhofer Institute for Media Communication, Sankt Augustin, Germany
[L2_Olsen] „Laser Pointer Interaction” , 2001
Dan R. Olsen Jr., Travis Nielsen - Computer Science Department, Brigham Young University, Provo, UT
[L3_Cheng] „Direct Interaction with Large-Scale Display Systems using Infrared Laser Tracking Devices“, 2006
Kelvin Cheng, Kevin Pulo - School of Information Technologies, The University of Sydney, Australia
[L4_Bi] „Facilitating Interaction with Large Displays in Smart Spaces“, 2005
Xiaojun Bi, Yuanchun Shi, Xiaojie Chen, Peifeng Xiang - Key Laboratory of Pervasive Computing, Dept. of Computer
Science, Tsinghua University, China
[L5_Meyrs] „Interacting at a Distance: Measuring the Performance of Laser Pointers and Other Devices“, 2002
Brad A. Myers, Rishi Bhatnagar, Jeffrey Nichols, Choon Hong Peck, Dave Kong, Robert Miller, and A. Chris Long –
Human Computer Interaction Institute School of Computer Science, Carnegie Mellon University, Pittsburgh
Vortrag Ringvorlesung: Christian Fischer
22
Interaktionskomponenten für CW
Projektreferenzen
[H1_JJang] „ Direct Pointer: Direct Manipulation for Large-Display Interaction using Handheld Cameras“, 2006
Hao Jiang, Yuanchun Shi - Tsinghua University, Beijing, China
Eyal Ofek, Neema Moraveji - Microsoft Research Asia, Beijing
[H2_Jeon] „Interaction Techniques in Large Display Environments using Hand-held Devices“, 2006
Seokhee Jeon, Jane Hwang - Dept. of CSE, Pohang, Korea
Gerard J. Kim - Dept. of CSE, Korea University, Seoul, Korea
Mark Billinghurst - Human Interface Technology Lab. NZ, Univ. of Canterbury, Christchurch, New Zealand
[H3_Slay] „Evaluation of a Universal Interaction and Control Device for use within Multiple Heterogeneous Display
Ubiquitous Environments“, 2006
Hannah Slay, Bruce H. Thomas - e-World Lab, School of Computer and Information Science, University of South
Australia, Mawson Lakes, Australia
[M1_Baudisch] „Soap: a Pointing Device that Works in Mid-Air”, 2006
Patrick Baudisch, Mike Sinclair, Andrew Wilson - Microsoft Research, USA
Vortrag Ringvorlesung: Christian Fischer
23

Interaktionskomponenten für CW