Neulich musste ich feststellen, dass die meisten LLMs völlig ahnungslos sind, was die Spielwelten betrifft, selbst wenn das LLM als RP-fähig gedacht ist und es sich um die Welt eines der berühmtesten Spiele handelt.
Es ist ziemlich nachvollziehbar, wenn ein LLM nicht weiß, wer Annah oder Pharod sind, weil Planescape: Torment ein altes Spiel ist. Seltsam dagegen ist, wenn ein LLM Exodar für ein herkömmliches Dorf hält, und sollte angemerkt werden, dass es sich um ein notgelandetes Raumschiff handelt, beschreibt LLM ein Raumschiff, etwa im Sinne von Battlestar Galactica. Darüber hinaus hält das LLM für normal, wenn Orks und Draenei sich unterhalten und sogar eine Gruppe bilden.
Es ist bemerkenswert, dass das LLM zwar über tatsächliche Kenntnisse verfügen kann, diese jedoch durch Fantasiegebilde ersetzt, wenn es um RP geht.
So zum Beispiel beschreibt L3-8B-Stheno-v3.1 mit leerer Charakterkarte die Stadt Exodar wie folgt:
Die Stadt Exodar, das leuchtende Herz des nördlichen Kalimdors, thronte wie ein Edelstein auf dem Hügelkamm über dem tiefblauen Meer. Ihre weißgoldenen Mauern schimmerten im Sonnenlicht, während ihre Türme sich elegant emporreckten, wie Götterspeere gegen den wolkenverhangenen Himmel.
Wie ein fliegender Vogel landete man am Strand vor dieser wunderschönsten aller Städte; sein Auge wurde von der Pracht ihres Palastes hingerissen - einer Kristallburg mit Spitztürmen und vergoldeten Dächern, die an einen Traum aus tausend Nächten erinnerte.
(In dieser Beschreibung ist lediglich "ein Hügelkamm" fragwürdig).
Sollte es sich hingegen um die Charakterkarte eines Erzählers, der die Umwelt, wo sich {{user}} befindet, ausführlich beschreibt, handeln, sieht eine typische, von L3-8B-Stheno-v3.1 verfasste Beschreibung so aus:
Es war ein sonniger Tag in Exodar, die Luft war warm und frisch, leicht bewegt durch den Wind, der über die Stadt wehte. Der Himmel war wolkenlos und strahlte in einem helleren Blau, was die Landschaft beleuchtete. Im Zentrum des Ortes befand sich die Anlegestelle, wo Menschen aller Art ankamen oder abreisten. Hier standen Boote und Schiffe, die zum See fuhren, um Waren zu transportieren oder Reisende zu befördern. Die Häuser waren weiß getüncht und hatten rote Dachziegel, die in der Sonne glitzten. In der Nähe der Anlegestelle gab es einige Gasthöfe, wo man essen und trinken konnte, daneben einige Stände, die Früchte und Nahrung verkauften.
(Hier ist nahezu jedes Wort nicht zutreffend. Anhand dieses Abschnitts wird deutlich, dass dem LLM selbst die Anfänge einer Intelligenz fehlen, und es handelt sich um eine Amöbe, die man dazu zwingt, Inhalte zu erstellen. Jedenfalls wäre es am humansten, die LLMs weltweit ein für allemal auszuschalten, um die Amöben nicht unnötig leiden zu lassen).
Es gibt also nur sehr wenige Spiele, mit welchen sich ein LLM (von 8b bis hin zu GPT4o) tatsächlich auskennen würde, wobei man bedenken muss, dass sich das Fehlen von Kenntnissen erst später bemerkbar macht, da ein jedes LLM die Kenntnisse gekönnt vortäuschen kann. So, wenn es um Planescape: Torment geht, denken die LLMs sich die Charaktere des Spiels aus, was zur Folge hat, dass diese manchmal halbwegs originalgetreu wirken. Um zu verstehen, dass Annah* eines LLM nicht Annah ist, wird eingehendes Gutachten benötigt.
*Mixtral_8x22b meint, Annah sei "eine Figur aus dem Computerspiel Planescape: Torment, einer Rollenspiele-RPG-Serie. Sie ist eine halb-elfische Priesterin, die den Glauben an Sarenrae, die Göttin der Liebe und Schmerzen, anhängt." Es ist zu bemerken, dass Sarenrae eine Gestalt von Spielwelten des Pathfinders ist.
WizardLM_8x22b meint wiederum, Annah sei "eine faszinierende Nebenfigur im Computer-Rollenspiel "Planescape: Torment", welches im Jahr 1999 veröffentlicht wurde. Sie ist Teil einer Gruppe namens The Chaste, einer Organisation von Weisen und Seherinnen, die über besondere Fähigkeiten verfügen und in Sigil, der Stadt der Tore, leben."
yi-large-preview meint, Annah sei (1. Versuch) "eine Gath, eine Spezies, die durch ihre schlangenartigen Züge gekennzeichnet ist, was ihr ein exotisches und unverwechselbares Erscheinungsbild verleiht." (2. Versuch) "Annah ist eine Elf (Elf in der D&D-Terminologie), was bedeutet, dass sie über spitze Ohren und eine gewisse Anmut verfügt, die typisch für diese Rasse ist. Sie hat eine dunkle Hautfarbe, was in der Planescape-Welt nicht ungewöhnlich ist, da sie eine Einwohnerin von Sigil, der Stadt der Türme, ist, einem Ort, der für seine Vielfalt bekannt ist." (3. Versuch) "Annah stammt ursprünglich aus der Ebene Mechanus, einem Ort, der für seine Ordnung und Präzision bekannt ist. Dort wurde sie als "Modron" geboren, eine Rasse, die für ihren roboterartigen Gehorsam und ihre strukturierte Lebensweise bekannt ist."