Auch 2021 war wieder ein Jahr, in dem so manches Game die Erwartungen enttäuschte. Natürlich war die Fallhöhe bei all jenen Titeln besonders hoch, die im Vorfeld enorm gehyped worden waren. Viele besaßen die Grundzutaten für einen soliden Markterfolg: ein interessantes Setting, eine bombastische Grafik, ein vielseitiges Gameplay und so weiter. Dennoch wurden einige dieser Titel von Kritik und Spielefans verrissen. Zum Beispiel wegen exzessiven Grindings, vorhersehbarer Plot Twists, langweiligen Level-Designs oder törichter KI. Ups.
Nicht trivial
Wie so etwas passieren konnte? Der Hauptgrund war in den meisten Fällen nicht das mangelnde Budget - sondern die Tatsache, dass diese Spiele vor dem Release einfach zu wenig auf Spielspaß getestet worden waren. Dabei gibt es ja mit Games User Research eine eigene Forschungsdisziplin, die sich genau mit diesem Thema beschäftigt: der Qualität des Spielerlebnisses – und seiner Optimierung. Und das ist tatsächlich keine triviale Aufgabe. „Videospielentwicklung ist kostspielig, komplex und zutiefst kollaborativ“, sagt Sebastian Long, dessen Firma Player Research Spielefirmen unterstützt. „Kreativ-Teams müssen sehr viele Herausforderungen und Risiken meistern, um ein wirklich exzellentes Spiel abzuliefern. ‚Games User Research‘ hilft als Fachdisziplin, solche Risiken mithilfe von Spielerdaten, Spieler-Feedback und Spielerpsychologie zu minimieren.“ Longs Firma beschäftigt rund 20 Fachkräfte, die sich auf die Standorte Brighton und Montreal verteilen; in seiner nunmehr zehnjährigen Firmengeschichte hat Player Research Forschungsergebnisse zu rund 500 Spielen beigetragen. Doch welche Methoden kommen dabei eigentlich zum Einsatz?
Klassische Beta- und Alpha-Tests sind laut Long nur die Spitze des Playtesting-Eisbergs: „Es gibt viel mehr GUR, als die SpielerInnen üblicherweise mitbekommen. Beta- und Alpha-Tests gehören zu den letzten Arbeiten in der Entwicklung eines Spiels, bei denen noch Daten erhoben werden.“ In den meisten Games mit mittlerem bis großem Budget gebe es vorher schon 20, 50 oder gar hundert heimliche Tests, berichtet Long. GUR nutze meist eine Handvoll unterschiedlicher Methoden, um User-Feedback in den Design-Prozess einzubetten. „Die naheliegendste Methode ist, direkt mit den SpielerInnen zu sprechen“, so der Managing Director. „Wir stellen Gruppen zusammen, die das Spiel spielen, bevor es fertig ist – und sprechen dann mit ihnen über ihre Erfahrungen. Genau das ist ‚Playtesting‘.“ Long hält diese User-Berichte für nützlich und spannend, sieht aber auch Einschränkungen: So können sich User längst nicht an jede Spielsituation erinnern und sind auch nicht immer in der Lage, ihr Feedback hinreichend zu kommunizieren. Deshalb empfiehlt Long, dem Ganzen noch andere Datentypen beizumischen. „Beispielsweise verbringen wir viel Zeit damit, den SpielerInnen beim Spielen zuzusehen. Spielen sie es ‚richtig‘? Ist das Spiel gut darin, die Regeln zu vermitteln? Meistern SpielerInnen die Steuerung?“ Dieses Usability Testing ist für Long ein gutes Gegengewicht zum mündlichen Feedback, das die User liefern. Oder anders formuliert: Doppelt hält besser!
Ist das Spiel gut darin, die Regeln zu vermitteln?
Verteilte Rollen
Die meisten großen Spielefirmen besitzen mittlerweile eigene GUR-Abteilungen. Allerdings ist es nur zu verständlich, dass sie sich bei der User-Durchleuchtung nicht gerne in die Karten schauen lassen. PlaytesterInnen müssen regelmäßig NDAs unterschreiben, und auch die genutzten Methoden bleiben weitgehend im Verborgenen. Immerhin war Yager Development bereit, uns einige Fragen zum Thema zu beantworten. Derzeit arbeitet das Berliner Studio mit Hochdruck am Survival-Shooter The Cycle: Nach der ersten Closed Beta mit 350.000 TeilnehmerInnen soll am 10. März der zweite geschlossene Spieltest starten. The Cycle ist ein F2P-Titel, der als Game as a Service funktioniert. Yager wird also kontinuierlich neue, teils auch kostenpflichtige Inhalte nachlegen. Bekanntlich hat das Studio auch schon jede Menge Erfahrung mit klassischem AAA vorzuweisen – man denke nur an den Antikriegsshooter Spec Ops: The Line. „Games User Research ist für uns ein wichtiger Teil der Spieleentwicklung“, sagt Senior UX Designerin Insa Wulf. „Wir nutzen verschiedene GUR-Methoden wie beispielsweise Umfragen, Interviews und Playtests, um früh auf Feedback reagieren zu können. Die Findings aus dem Research evaluieren wir und arbeiten danach Optimierungen aus.“ Die Forschungsaufgaben verteilt Yager auf verschiedene Abteilungen. „Das meiste GUR wird von den UX-Designern koordiniert, für quantitatives Research unterstützt das Community Management“, berichtet Wulf. Derzeit arbeite in dem Bereich UX (User Experience) eine Person, man sei auf der Suche nach Verstärkung. Als wichtigste Qualifikationen nennt Wulf „Erfahrung in der Durchführung von User-Research-Methoden und gute Kommunikations-Skills“. Gute Voraussetzungen seien auch ein Studium im Bereich Human-Computer-Interaction (HCI), in Psychologie oder in einem verwandten Wissensgebiet.
Vollpreisspiele und GaaS sind ja grundsätzlich sehr unterschiedliche Konzepte. Bei GUR allerdings kommen weitgehend identische Methoden zum Einsatz, erzählt Wulf. „AAA-Games können einen stärkeren Fokus auf Spielmechaniken legen, da der Business Case abgesichert sein sollte. GaaS haben einen größeren Bedarf, neben dem Vertesten von Spielmechaniken auch business-fokussierte Mechaniken zu vertesten.“ Will heißen: Hier wird unter anderem die Akzeptanz bestimmter Monetarisierungsmodelle getestet.
Verhaltensbasierte Metriken
Auch wenn die meisten Spielefirmen sich beim Thema GUR eher bedeckt geben: An Hochschulen und Universitäten wird ebenfalls eifrig zum Thema geforscht. Pejman Mirza-Babaei ist Associate Professor an der Ontario Tech University, freier Unternehmensberater – und einer der führenden GUR-Experten weltweit; gemeinsam mit Samantha Stahlke wird er dieses Frühjahr ein neues Standardwerk herausbringen („The Game Designer‘s Playbook“). „Die gebräuchlichsten Techniken basieren auf Methoden der Selbstauskunft – zum Beispiel auf Interviews, Umfragen und Fokusgruppen“, berichtet der Forscher. „Diese lassen sich vergleichsweise einfach umsetzen und sind potenziell auch eine reichhaltige Datenquelle.“ Allerdings gibt auch Mirza-Babaei zu bedenken, dass kognitive Fähigkeiten das User-Feedback limitieren. Das können man unter anderem durch verhaltensbasierte Metriken ausgleichen – laut Mirza-Babaei „mächtige Werkzeuge, mit denen man das In-Game-Verhalten der SpielerInnen beobachten kann“. Allerdings können solche Metriken nur vergleichsweise wenig über Gefühle und Gedankengänge der Playtester aussagen. „Es empfiehlt sich also häufig, diese Methoden zu kombinieren“, sagt er. „Das Ergebnis sind multimodale Datensätze, die das Interaktions-Design und die Auswertung vorantreiben.“ Mirza-Babaei sieht einen steigenden Bedarf nach Games User Research – und zwar deshalb, weil ständig neue Plattformen (VR, AR, Metaversum etc.), neue Publishing-Modelle (F2P, Season Passes etc.) und neue Zielgruppen hinzukommen.
Der Einsatz biometrischer Daten wird immer relevanter
Johanna Pirker lehrt und forscht als Assistenzprofessorin an der Graz University of Technology – unter anderem auch am Thema „GUR“. Eines von Pirkers Spezialgebieten ist die Datenanalyse, also die Jonglage mit riesigen Datenmengen. „Wir haben zum Beispiel bei Destiny die Daten von Millionen Usern daraufhin untersucht, wie sie miteinander oder gegeneinander spielen. Und dann haben wir versucht herauszufinden, ob sie motivierter sind, wenn sie mit Freunden oder mit Unbekannten spielen.“ Man können zum Beispiel auch untersuchen, in welchen Regionen der Spielwelt besonders viele User „sterben“ – und dann das Game-Design on the fly anpassen. Pirker setzt in ihrer Forschung stark auf biometrische Daten, die zum Beispiel per Eye-Tracking oder Pulsmessung gewonnen werden. „Der Einsatz biometrischer Daten wird immer relevanter“, sagt sie. „Auf der anderen Seite sind auch Machine-Learning-Methoden sehr spannend, mit denen wir verstärkt in der Datenanalyse arbeiten. Hier kann man sehr schön Muster erkennen und das Feedback auch unmittelbar zurück ins Game bringen.“ So könne man das Spielerlebnis ganz unmittelbar an die Bedürfnisse einzelner User anpassen. „Das ist sehr relevant, wenn es beispielsweise um die dynamische Anpassung der Spielschwierigkeit geht – oder um die Anpassung des Spiels an verschiedene Spielertypen.“ Pirker beschäftigt sich auch stark mit der Frage, wie Indie-Studios von GUR profitieren können. „Gerade Indie-Spiele könnten von dieser Expertise oft profitieren, haben aber ohnehin Ressourcenprobleme. Und da ist es natürlich wichtig, dass man an Tools arbeitet – dass dieses Know-How auch kleineren Studios zugänglich wird.“
Früh nachjustieren
Aus Sicht von Sebastian Long besteht eine der größten Herausforderungen darin, rechtzeitig an aussagekräftige Daten zu kommen. „Für Games gibt es in einem frühen Entwicklungsstadium noch keine nutzbaren Telemetriedaten. Games, die top secret sind, können keine Daten aus einer Open Beta nutzen. Games, die noch frühe Prototypen sind, besitzen keine Story-Elemente, zu denen die SpielerInnen Feedback geben können.“ ForscherInnen, die ein komplettes Spielerlebnis simulieren und komplexe Studien entwerfen wollen, hätten folglich jede Menge zu tun. „Damit können sie den Entwicklerteams dann Feedback geben, bevor endgültige Entscheidungen getroffen werden und es zu spät ist, das Spiel noch zu ändern.“ Eine weitere Herausforderung sieht der GUR-Experte im Umgang mit negativem User-Feedback. „Entwicklerteams liegt das, was sie tun, wirklich am Herzen“, sagt Long. „Natürlich hoffen sie darauf, dass das Player-Feedback die Spiele besser macht – was bedeutet, dass auch das identifiziert wird, was nicht den Erwartungen entspricht. Eine wichtige Aufgabe der Games User Researchers ist, tatsächlich existierende Game-Design-Mängel zu ‚übersetzen‘ und richtig zu kommunizieren – ohne dabei das Vertrauen und die Moral des Design-Teams zu untergraben.“
Entwicklerteams liegt das, was sie tun, wirklich am Herzen
Pejman Mirza-Babaei hat fürs Playtesting eine eigene KI entwickelt. Ihr Name: PathOS. Der Forscher sieht im Einsatz der KI deutliche Vorteile gegenüber „menschlichem“ Playtesting: „Erstens sind Playtesting-Sessions zeitaufwändig. Ein typischer Test kann eine Stunde pro SpielerIn und Session dauern – und man braucht dafür evtl. ein Labor, eine Moderation und eine Teilnahmevergütung.“ Außerdem müssen man viele TeilnehmerInnen rekrutieren, um ein breites Spektrum an Skills und Gameplay-Präferenzen abzudecken. Drittens brauche man für jeden Test mit echten SpielerInnen auch einen passenden Game-Build, so Mirza-Babaei: „Das ist zeitaufwändig und lässt meist nicht on the fly modifizieren. Realistisch gesehen begrenzen die genannten Anforderungen die Anzahl der Testrunden, die in einem typischen Entwicklungszyklus absolviert werden können.“
Kein Ersatz
KI-basiertes Playtesting habe demgegenüber deutliche Vorteile, so der Forscher. „Simulierte Sessions erfordern nur einen Computer und können beschleunigt werden, um Ergebnisse auf einer trivialen Zeitskala zu ermöglichen. Außerdem können dabei mehrere Agenten gleichzeitig laufen – zum Beispiel, um mit mehreren ‚SpielerInnen‘ gleichzeitig zu testen.“ Zudem könne eine große Bandbreite an User-Typen und -Vorlieben simuliert werden – ohne fertiges Build des Spiels. „Die Kombination all dieser Vorteile ermöglicht es EntwicklerInnen, ihr Design häufiger auszuwerten – und letztlich ein erfolgreicheres Produkt zu erschaffen.“ Mit PathOS will Mirza-Babaei menschliches Playtesting jedoch keineswegs obsolet machen, sondern vielmehr ergänzen, versichert er. „Stattdessen soll es Game-DesignerInnen eine sachkundigere Iteration ihrer Schöpfungen ermöglichen – mit minimalen Ressourcen, speziell in den Frühphasen der Spielentwicklung.“
Wie wird es in den nächsten Jahren mit GUR weitergehen? Das hängt natürlich von technischen Fortschritten und vom zunehmenden Streamlining der Spieleproduktion ab. Momentan wird das Playtesting der Firmen aber durch einen ganz anderen Faktor beeinflusst – nämlich die Corona-Pandemie. Viele Playtesting-Labs seien deswegen auch jetzt noch geschlossen, berichtet Sebastian Long. Mittlerweile betreiben viele Firmen Remote-Testing aus dem Home Office. „Ich vermute, das wird selbst dann noch so bleiben, wenn die Playtesting-Labs wieder aufmachen“, sagt Long. Eines wird sich in jedem Fall auch künftig nicht ändern: Der Bedarf nach hochwertigen User-Daten, die als Basis erfolgreicher Spiele dienen. (Achim Fehrenbach)
