Anzeige

Anzeige

Magazin: story

Alles nur Augenwischerei?

Eye Tracking in Computerspielen gibt es schon seit einigen Jahren. Doch bislang konnte sich die Augensteuerung nicht im Mainstream durchsetzen. Allerdings kommen ständig neue Spiele hinzu, die diese Technologie unterstützen, und auch VR-Headsets können stark von Eye Tracking profitieren. Ein Überblick.
Mein Blick schweift über die Hügel des Peloponnes – und das fühlt sich ganz natürlich an. Sobald ich nämlich in Richtung Bildschirmrand schaue, schwenkt die Kamera automatisch mit. Ich kann mich also in der herrlichen Landschaft umschauen, ohne dafür Tastatur, Mouse oder Controller zu bedienen. Nun allerdings findet die Idylle ein jähes Ende, denn an einer Wegbiegung tauchen mehrere schwerbewaffnete Gegner auf. Ein Kampf ist unausweichlich, und ich mache mich bereit, den ersten Feind ins Jenseits zu befördern. Statt ihn aber per Tastendruck zu taggen, wie das in den meisten Spielen funktioniert, schaue ich nur kurz in seine Richtung – und die Kamera rastet automatisch auf ihm ein. Ein schneller Blick zum nächsten Gegner, schon wird der automatisch markiert. Kurze Zeit später liegen die Gegner am Boden – und ich kann wieder die Landschaft genießen.

"
Auch Firmen wie Facebook und Google arbeiten an Projekten für Augensteuerung
"

Die Spielszene – Sie haben es wahrscheinlich geahnt – stammt aus Assassin's Creed Odyssey. Der Action-Blockbuster von Ubisoft ist eines von mittlerweile mehr als 140 Games, die das Eye Tracking der Firma Tobii unterstützen – darunter so prominente Namen wie Shadow of the Tomb Raider, Hitman, Project Cars 2 und The Division 2. Zu den wichtigsten Partnern zählen laut Tobii die Firmen Ubisoft, Square Enix, Techland, IO Interactive und SCS Software. In Odyssey haben die Entwickler eine ganze Reihe nützlicher Eye-Tracking-Funktionen integriert, zum Beispiel eben die scrollende Kamera ("Extended View") und das Anvisieren der Gegner ("Enemy Tagging"). Das Ganze funktioniert mit Hilfe eines Geräts, das an die gute alte Wii-Sensorleiste erinnert, aber deutlich mehr kann: Der Tobii Eye Tracker 4C wird vorzugsweise an die Unterkante des Monitors geklebt und per USB mit dem PC oder Laptop verbunden. Ist die Treiber-Software installiert, geht es auch schon los mit dem Eye Tracking (und Head Tracking), das gerade für Neu-Nutzer in den ersten Momenten etwas fast Magisches hat.

Muster im Auge
Wie Eye Tracking funktioniert, erklärt uns Martin Lindgren, Director of Product Management bei Tobii: "Möglich wird das durch die Kombination von Illuminatoren, Sensoren und Algorithmen. Einfach gesagt kreieren die Illuminatoren ein Muster von infrarotnahem Licht auf den Augen. Dann schießen Kameras ein hochauflösendes Bild von den Augen des Nutzers und von deren Oberflächenmustern. Mittels Machine Learning, Bildverarbeitung und mathematischen Algorithmen lässt sich dann die Position der Augen und der Blickpunkt feststellen." Bereits seit seiner Gründung im Jahre 2001 arbeitet das schwedische Unternehmen an der Optimierung der Hardware und Software, die längst nicht nur bei Games zum Einsatz kommt, sondern beispielsweise auch als Arbeitshilfe für Menschen mit Behinderung; ein weiterer Geschäftszweig ist die Herstellung von Sprach-Generatoren (Tobii Dynavox). Beim Eye Tracking ist Tobii mit seinen 600 Mitarbeitern Weltmarktführer, auch Firmen wie Facebook und Google arbeiten an Projekten für Augensteuerung. Doch so faszinierend und hilffreich die Technologie auch sein mag: Kann sie den Markt für Gaming-Peripherals tatsächlich umkrempeln? Spielen wir alle irgendwann per Blicksteuerung?

Noch lässt sich das nur schwer voraussehen (pun intended). Allerdings hat Eye Tracking einiges Potenzial, denn die Technologie eignet sich für etliche Anwendungen. Erstens macht sie die Steuerung von Computerspielen intuitiver und eröffnet dadurch neue Gameplay-Möglichkeiten. Zweitens erhöht sie durch sogenanntes Foveated Rendering die Leistungsfähigkeit von VR-Brillen deutlich. Drittens erleichtert sie E-Sport-Teams die Analyse der Spieler-Performances und gibt dem Publikum vertiefte Einblicke ins Geschehen. Und viertens ermöglicht sie SpielerInnen mit Behinderung, ihre Lieblingstitel barrierefrei zu genießen – IGM wird sich in einer der kommenden Ausgaben eingehend mit dem Thema "Accessibility" beschäftigen.

"
Es verstärkt
die Immersion, indem es die
HUD-Elemente
abblendet
"

Konzert der Giganten
Die Tobii-Technologie steckt bereits in etlichen Geräten, darunter Peripherals, Laptops und Monitore. "Bei den Laptops haben wir kürzlich unsere Eye-Tracking-Technologie IS5 in den Alienware m15 und den Alienware m17 integriert, und darüber hinaus auch in das Alienware-Flaggschiff Area51m", berichtet Martin Lindgren. Nun ist Tobii keineswegs die einzige Firma, die Eye Tracking vorantreibt. Zwei Internet-Giganten haben wir bereits erwähnt: Google kaufte 2016 das Startup Eyefluence – womöglich, um deren Technologie in künftigen Smartphones zu verbauen. Facebook kaufte im selben Jahr über seine Tochter Oculus das Startup The Eye Tribe: Vorstellbar ist nicht nur der Einsatz in Oculus-Headsets, sondern zum Beispiel auch in der Analyse von Facebook-Nutzergewohnheiten. 2017 wurde die brandenburgische Firma Sensomotoric (SMI) von Apple gekauft, ihre Technologie könnte künftig bei VR, AR und bei selbstfahrenden Autos zum Einsatz kommen. Die Firmen Varjo, Fove und Looxid Labs arbeiten allesamt an Eye Tracking, um es in ihre VR-Brillen zu integrieren. Das Looxid-Modell besitzt zusätzlich ein EEG-Meter, um die Hirnströme der Nutzer zu messen – wodurch dann sogar Gedankensteuerung möglich werden soll.

Bevor wir uns Eye Tracking in VR widmen, schauen wir uns zunächst die Vorteile für herkömmliche Spiele genauer an. "Eye Tracker sind in vielen Bereichen sehr sinnvoll – sei es nun bei der Steuerung von Character, Kamera und sogar User Interface", sagt Rose-Marie Nargaud, Associate Director Technological Partnerships bei Ubisoft EMEA. "Nehmen wir Tom Clancy's The Division 2 als Beispiel. Wir haben ein Feature namens ‚Cover at Gaze' entwickelt, das die Kamera automatisch in Richtung des Cover-Punktes ausrichtet, auf den man schaut." Als weiteres Beispiel nennt Nargaud ein Feature namens "Clean UI": "Es verstärkt die Immersion, indem es die HUD-Elemente abblendet, wenn man sie nicht anschaut." Für jedes Spiel, das Tobii Eye Tracking unterstützt, passt Ubisoft im Durchschnitt sechs verschiedene Features an. Auch die Interaktion mit Charakteren und Objekten kann durch Eye Tracking deutlich intensiviert werden: Nämlich dann, wenn Objekte "bemerken", dass Spieler sie betrachten, und entsprechend reagieren. Einfaches Beispiel: Wir blicken auf das Kleidungsstück eines NPCs, der dann unmittelbar ein Gespräch darüber beginnt.

Hochgradig gewöhnungs­bedürftig
Natürlich sind nicht alle Features gleichermaßen sinnvoll. Manche sind auch einfach nur hochgradig gewöhnungsbedürftig, wenn man mit Mouse, Tastatur und Controller aufgewachsen ist. In unserem Hands-on der Tobii-Technologie fühlte es sich bei manchen Spielen sehr seltsam an, mit einer Waffe in Blickrichtung zu schießen – und nicht wie gewohnt in die Mitte des Bildschirms. Auch möchte man im Spiel nicht unbedingt dorthin laufen, wohin man schaut, sondern die Blickrichtung zusätzlich zur Standard-Steuerung nutzen. All das ist aber kein Problem der Eye-Tracking-Technologie selbst, sondern ihrer Implementierung in die jeweiligen Games. Einige besonders spannende Anwendungen fanden wir bei Indie-Games: In EyeAsteroids beispielsweise schießen wir heranrasende Himmelskörper mit unseren Blicken ab; im Horror-Game Don't Look müssen wir den Blick auf besonders angsteinflößende Objekte vermeiden. Gerade die Messbarkeit von Emotionen, die durch Blicke vermittelt werden, ist eine große Stärke von Eye Tracking: Die Firma Valve beispielsweise experimentiert damit, wie sie unterschiedliche Biofeedback-Kanäle ( Augenbewegungen, Herzfrequenz, Hautwiderstand, Gesichtsausdruck, Muskelspannung, Körperhaltung etc.) für die Entwicklung und Präsentation neuer Spiele nutzen kann.

Für Ubisoft ist Eye Tracking auch als Accessibility-Feature sehr wichtig: Wenn es um barrierefreies Spielen geht, kann der Publisher dadurch eine Vorbildfunktion einnehmen – und die Zielgruppe gleichzeitig vergrößern; gelähmte Spieler müssen dank Eye Tracking weder auf Shooter noch auf andere Spiele-Genres verzichten. Um Eye Tracking in einen bestimmten Titel zu integrieren, spricht sich Ubisoft üblicherweise ein Jahr vor Release mit den jeweiligen Teams. haben. "So haben wir genügend Zeit, das Feature zu implementieren und zu testen", sagt Nargaud. Sie sieht in Eye Tracking noch viel ausschöpfbares Potenzial: "Dank solcher Geräte und Technologien können wir für die Zukunft mit noch mehr Möglichkeiten rechnen."

Debüt im e-Sport
Im e-Sport debütierte die Tobii-Technologie bereits 2017. In Kooperation mit Alienware und der Eleague kam Eye Tracking damals bei Counter-Strike: Global Offensive zum Einsatz. Bei dem Turnier nutzten beide Teams die Tobii-Software Streaming Gaze Overlay (heute: Tobii Ghost), mit der die Blickrichtungen der Spieler aufgezeichnet wurde: Im Replay konnten die Zuschauer dann anhand von Markierungen sehen, auf welche Bereiche sich die Spieler im Match konzentriert hatten. Inzwischen haben auch Ligen wie die ESL die Software eingesetzt, um die Attraktivität der Turniere für das Publikum zu erhöhen. Außerdem wird Tobii Ghost verstärkt von Streamern genutzt, die ihre Zuschauer live mit Zusatzinformationen versorgen wollen. In e-Sport-Akademien nutzen derweil Teams die Software, um das Spielverhalten der Sportler zu analysieren – und anhand der Daten gegebenenfalls neue Aufmerksamkeitsstrategien zu entwickeln. "Eye-Tracking von Tobii bietet im e-Sport eine Reihe von Vorteilen", erläutert Martin Lindgren. "Es bietet Spielern wertvolle Einsichten in ihre Performance – zum Beispiel, wie oft sie die Mini-Map betrachten, wie schnell ihre Augen ein neues Ziel erfassen und so weiter."

"
Deutliche Vorteile bei VR
"

VR ist ein weiteres großes Einsatzgebiet für Eye Tracking. "Das kommt Hardware-Herstellern, Software-Entwicklern, Endkonsumenten und Forschern gleichermaßen zugute", sagt Martin Lindgren. Die Schlüsseltechnologie ist das sogenannte Foveated Rendering. Per Eye Tracking findet die VR-Brille heraus, wohin die Sehgrube (Fovea) gerade blickt, der schärfste Punkt des menschlichen Sehens. Nur in diesem zentrale Bereich wird das VR-Bild dann in hoher Auflösung berechnet, außenrum erhält das Bild graduell weniger Pixel. Dadurch wird Rechenleistung frei, die das Headset für eine bessere Grafik oder eine höhere Bildfrequenz verwenden kann. In aktuellen VR-Brillen – besonders den Standalone-Exemplaren – ist die Rechenleistung derzeit noch begrenzt, weshalb Foveated Rendering hier deutliche Fortschritte bringen kann. Die Technologie hat aber noch andere Vorteile: Sie hilft beim Fokussieren auf Objekte, Charaktere und Menüs. Auch die Interaktion in virtuellen Chat-Rooms dürfte durch Eye Tracking intensiviert werden: Ein Avatar, der direkten Augenkontakt aufnimmt, wirkt nun mal deutlich lebendiger, als wenn er nur starr vor sich hinblickt.

Schon jetzt nutzt eine Reihe von VR-Brillen Eye Tracking für Foveated Rendering, darunter Fove, StarVR One und Vive Pro Eye. Die Firma Tobii hat sich vergangenes Jahr mit Qualcomm zusammengetan, um das komplette "Reference Design and Development Kit" für die VR-Plattform Snapdragon 845 Mobile zu erschaffen. Sie ermöglicht Eye Tracking in mobilen AR- und VR-Headsets – und dürfte der Technologie eine größere Verbreitung bescheren. Insofern können wir die Frage aus der Überschrift beantworten: Nein, Eye Tracking ist wahrlich keine Augenwischerei – sondern eine Technologie, die Games intuitiver, zugänglicher und spektakulärer macht. (Achim Fehrenbach)