Smartphone-Steuerung mit Gesichtsgesten

Heutige Mobilgeräte werden meist mithilfe eines Touchscreens gesteuert. Im Alltag gibt es jedoch viele Situationen, in denen sich diese Art der Bedienung nicht umsetzen lässt. Trägt man zum Beispiel Handschuhe oder hat die Hände mit Einkäufen voll, ist das Nutzen von Smartphone und Co. nur schwer möglich. Wissenschaftler des Fraunhofer-Instituts für Graphische Datenverarbeitung IGD suchen daher nach alternativen Konzepten zur Steuerung mobiler Geräte. Naheliegend ist die Steuerung via Sprache. Doch Herausforderungen wie Umgebungslärm sowie die soziale Akzeptanz setzen der Sprachsteuerung enge Grenzen. Die Lösung der Fraunhofer-Experten: Die Steuerung über Kopf- und Gesichtsgesten wie Augenzwinkern, Lächeln oder Nicken.

Im Rahmen der Erforschung berührungsloser Steuerung für mobile Szenarien evaluierten die Rostocker Forscher und Forscherinnen verschiedene Techniken, mit denen Kopf- sowie Gesichtsbewegungen ausgelesen werden können. Dabei kam besonders der Alltagstauglichkeit Bedeutung zu. So sind zum Beispiel Systeme, die Gesten mithilfe von Sensoren direkt im Gesicht ablesen, zwar sehr genau und in der Lage, eine grosse Zahl an Gesten zu erkennen. Allerdings sind sie derart auffällig und unangenehm zu tragen, dass sie sich nicht für den täglichen Gebrauch in der Öffentlichkeit eignen.

Dafür bedarf es möglichst unauffälliger Systeme wie zum Beispiel EarFS, einer Eigenentwicklung des Fraunhofer IGD. Dabei handelt es sich um einen speziellen Ohrstöpsel, der die Muskelströme und Verformungen des Ohrkanals misst, die bei Gesichtsbewegungen auftreten. Der Sensor registriert bereits kleinste Bewegungen im Gesicht durch die Art, wie sich die Form des Ohrkanals verändert, und misst Muskelströme, die bei der Bewegung des Gesichts oder des Kopfes entstehen.

«Die Herausforderung war, dass diese Ströme und Bewegungen mitunter sehr klein sind und verstärkt werden müssen», erklärt Denys Matthies, Wissenschaftler am Fraunhofer IGD. «Ausserdem dürfen die Sensoren sich nicht von anderen Bewegungen des Körpers, zum Beispiel den Erschütterungen beim Gehen oder von externen Interferenzen stören lassen. Dafür wurde eine zusätzliche Referenzelektrode an das Ohrläppchen angebracht, die die von aussen kommenden Signale registriert.» Die im Inneren des Ohrs erfassten Signale werden mit den von aussen kommenden Signalen abgeglichen – das verbleibende Nutzsignal ermöglicht eine eindeutige Gesichtsgestenidentifizierung, selbst wenn der EarFS-Träger sich bewegt.