Project Gameface: Google macht Mauszeiger über Gesichtsgesten steuerbar

12.5.2023 15:18 Uhr Marc Stöckel

Zusammen mit einem motorisch beeinträchtigten Game-Streamer hat Google unter dem Namen Project Gameface eine quelloffene Software entwickelt, die es Anwendern ermöglicht, mit einer einfachen Webcam ihren Mauszeiger zu steuern und darüber mitunter Videospiele zu spielen.

Google ersetzt Gaming-Maus durch Webcam und Software

Im Rahmen der hauseigenen Entwicklerkonferenz I/O 2023 hat Google ein neues KI-Projekt namens Project Gameface vorgestellt, das es Spielern ermöglicht, Videospiele durch Kopfbewegungen und Gesichtsgesten zu steuern. Der Konzern spricht in diesem Kontext auch von einer „KI-gesteuerten Gaming-Maus“, die Anwendern die volle Kontrolle über den Mauszeiger ihres Computers gibt. Auch Klicks sowie Drag-and-Drop seien umsetzbar, indem der Benutzer beispielsweise seine Augenbrauen hochzieht oder den Mund öffnet oder verzieht.

Dafür erfasst eine Webcam zunächst Kopfbewegungen und Gesichtsgesten des Nutzers. Das aufgezeichnete Bildmaterial wird anschließend über die quelloffene Machine-Learning-Plattform Google MediaPipe verarbeitet. Die Software projiziert ein Netz aus insgesamt 468 Punkten auf das Gesicht des Anwenders und übersetzt dessen Bewegungen schließlich in Mauszeiger-Aktionen. Spezielle Hardware ist demnach nicht erforderlich. Es handelt sich um eine reine Softwarelösung, die mit einer handelsüblichen Webcam funktioniert.

Eine quelloffene Lösung für Menschen mit Behinderung

Als Inspirationsquelle für Project Gameface nennt Google den Game-Streamer Lance Carr, der unter einer Muskeldystrophie leidet. Dabei handelt es sich um eine erblich bedingte Krankheit, die zu einem allmählichen Abbau von Muskelgewebe führt. Für Betroffene geht dies im Laufe der Zeit mit erheblichen motorischen Einschränkungen einher, die auch im Falle von Lance Carr dazu führen, dass dieser für die Steuerung seines Computers keine handelsüblichen Eingabegeräte verwenden kann.

Dennoch habe sich der Streamer nicht davon abhalten lassen, Computerspiele zu spielen und dies live auf seinem YouTube-Kanal zu übertragen. Um seinen Mauszeiger zu steuern, habe er mitunter auf eine spezielle Head-Tracking-Maus zurückgegriffen. Im November 2021 geriet jedoch während eines Livestreams sein Haus in Brand, woraufhin er seine gesamte Gaming-Ausrüstung verlor.

Für Google war diese Geschichte Anlass genug, Project Gameface ins Leben zu rufen und gemeinsam mit Lance Carr eine freihändig bedienbare Gaming-Maus zu entwickeln. Da Benutzer mit körperlichen Einschränkungen oftmals sehr individuelle Anforderungen haben, bietet das Projekt sogar die Möglichkeit, unterschiedliche Gestengrößen zu definieren. So lässt sich beispielsweise schon durch eine sehr geringfügige Bewegung einer Augenbraue ein Klick auslösen.

Wie Google in der Ankündigung betont, befindet sich Project Gameface derzeit noch in der Entwicklung. Eine erste Vorschau der quelloffenen Lösung stehe jedoch inzwischen auf GitHub bereit.

CB-Funk Podcast #92: Stalker 2 im Benchmark auf dem ausverkauften(?) 9800X3D mit Fabian und Jan-Frederik