Entwickler können jetzt Barrierefreiheitsfunktionen in ihre Apps integrieren, sodass Benutzer den Cursor mit Gesichtsgesten oder Kopfbewegungen steuern können. Sie können beispielsweise den Mund öffnen, um den Cursor zu bewegen, oder die Augenbrauen heben, um zu klicken und zu ziehen.
Das Gameface-Projekt, das letztes Jahr auf der Google I/O für Desktop angekündigt wurde, nutzt die Kamera des Geräts und eine Datenbank mit Gesichtsausdrücken aus der Face Landmark Detection API von MediaPipe, um den Cursor zu manipulieren.
„Über die Kamera des Geräts werden Mimik und Kopfbewegungen nahtlos erfasst und in eine intuitive, personalisierte Steuerung umgesetzt“, erklärte Google in seiner Ankündigung. „Entwickler können jetzt Apps erstellen, bei denen ihre Benutzer ihr Erlebnis konfigurieren können, indem sie Gesichtsausdrücke, Gestengrößen, Cursorgeschwindigkeit und mehr anpassen. »
Während Gameface ursprünglich für Gamer entwickelt wurde, hat Google nach eigenen Angaben auch eine Partnerschaft mit Incluzza geschlossen – einem indischen Sozialunternehmen, das sich auf Barrierefreiheit konzentriert –, um zu sehen, wie es auf andere Kontexte wie Arbeit, Schule und soziale Situationen ausgeweitet werden kann.
Project Gameface wurde vom querschnittsgelähmten Videospiel-Streamer Lance Carr inspiriert, der an Muskeldystrophie leidet. Carr arbeitete bei dem Projekt mit Google zusammen, um eine günstigere und zugänglichere Alternative zu teuren Head-Tracking-Systemen zu schaffen.