552 Generative KI

Die generative KI bildet einen Überbegriff für eine Vielzahl von Tools, die zur Erzeugung von Content verwendet werden können, unabhängig davon, ob es sich um Texte, Audio-Daten, Videos oder synthetische Daten handelt. Da bei der Nutzung von KI-Tools im Kontext einer wissenschaftlichen Arbeit aktuell der Schwerpunkt auf der generativen KI liegt, bildet die Betrachtung dieser einen Schwerpunkt dieses Buches. Mit ChatGPT wollen wir uns den derzeit populärsten Vertreter dieser Kategorie genauer ansehen.

2.1 Funktionsweise von ChatGPT

Um die Unterstützungsleistung von ChatGPT und dabei insb. dessen Stärken, Schwächen, Limitationen und Gefahren besser verstehen zu können, ist es hilfreich, zumindest ein grobes Verständnis der Funktionsweise des Dienstes zu haben. Betrachtet man die Funktionsweise von ChatGPT, dann ist zunächst einmal wichtig, welches Ziel der Algorithmus des Dienstes bei der Texterzeugung verfolgt.

2.1.1 Ziel des Algorithmus

Das Ziel des Algorithmus besteht darin, das nächste „vernünftige“ Wort (genauer: Token) zu bestimmen (Wolfram 2023). Die Auswahl des Wortes hängt dabei vom Kontext ab und von dem, was der Dienst in seinen Trainingsdaten gesehen hat. Stark vereinfacht ausgedrückt baut der Dienst seine Antwort Wort für Wort auf, wobei zu einem gegebenen Kontext der nächste sinnvolle Bedeutungsgehalt bestimmt wird, der hinzugefügt werden soll. Bei Wolfram findet sich dazu folgendes Beispiel (Wolfram 2023): Soll der Text „The best thing about AI is its ability to“ ergänzt werden, dann könnten aus den Milliarden von Menschen geschrieben Textseiten die Seiten extrahiert werden, die sich mit dieser Thematik befassen. Geht man diese Dokumente durch, dann lässt sich eine Häufigkeitsverteilung der Begriffe ermitteln, die sich dem obigen Satzbeginn anschließen könnten. Im Datensatz von GPT-2 sind dies (Wolfram 2023):

Bei der Generierung von Texten nutzt ChatGPT nun nicht (wie man denken könnte) immer das häufigste Wort. Die Erfahrung hat gezeigt, dass der Text dazu tendieren würde, flach zu werden (Wolfram 2023). Zu besseren Ergebnissen ist man gelangt, wenn man an der ein oder anderen Stelle niedriger gerankte Worte einfügt (Wolfram 2023). Das bezeichnet man auch als sogenannten „Temperature-Parameter“. Dieser Parameter kann zwischen 0 und 1 schwanken wobei nach Wolfram Werte von 0,8 die besten Ergebnisse ergeben haben (Wolfram 2023).

Wichtig ist jedoch, dass dieses Zufallselement dazu führt, dass trotz gleicher Eingabe die generierten Antworten unterschiedlich ausfallen können. Dies bedeutet aber nicht, dass sich jede Antwort von den vorausgegangenen unterscheiden würde. So wurde ChatGPT in einer Studie 1008-mal aufgefordert, einen Witz zu erzählen. In 90 % der Fälle generierte ChatGPT immer wieder dieselben 25 Witze (Jentzsch und Kersting 2023). Daher besteht bei der Nutzung von ChatGPT zur Texterzeugung (insb. vor dem Hintergrund der stark steigenden Nutzerzahlen) die Gefahr eines unbeabsichtigten Plagiarismus.

Diese sprachlichen Muster, die bei der Nutzung von ChatGPT entstehen, resultieren daraus, dass der Prompt einen Kontext erzeugt, der mit Mustern bei der Verwendung von Sprache korrespondiert. Bittet man ChatGPT darum, eine Ode an das „Geschirr“ zu schreiben, dann wird es tendenziell Begriffe verwenden, die häufig mit dem Thema verbunden sind, wie „zerschlagen“ oder „waschen“ (Kolly und Flügel 2023). Das ist ja auch eine sinnvolle Idee, da die Kombination aus „Geschirr“ und „zerschlagen“ bzw. „waschen“ die Wahrscheinlichkeit erhöht, dass ein sinnvoller Text entsteht. ChatGPT schafft damit Collagen auf Basis der Muster, die es in den Trainingsdaten gefunden hat (Kolly und Flügel 2023).

Im wissenschaftlichen Bereich lernt das Sprachmodell aus den Trainingsdaten, dass in wissenschaftlichen Arbeiten ein Satz meist mit dem folgenden Muster endet „(Autorin/Autor Jahr).“ Wird nun ein Text erzeugt, dann wird als Quelle der Nachnamen ausgegeben, der sich im jeweiligen Kontext besonders häufig in den Trainingsdaten vorfand. Die zitierte Quelle mag dabei niemals in den Trainingsdaten enthalten gewesen sein (da es sich z. B. um ein kostenpflichtiges Buch handelt). Das Sprachmodell „liest“ also nicht zwingend die Quelle 57und speichert das darin vorhandene Wissen in einer Datenbank ab, auf deren Basis der Output generiert wird und möglicherweise ist dem Sprachmodell die Quelle noch nicht einmal bekannt. Durch die Kombination aus statistischen Gesetzmäßigkeiten und dem Zufallsprinzip kann eine Aussage von ChatGPT wahr sein – oder auch nicht, mag die zitierte Quelle existieren – oder auch nicht und mag sich in der zitierten Quelle die Aussage finden – oder auch nicht.

Die Nutzung des Zufalls bei der Erzeugung von Texten ist in dem obigen Beispiel bzgl. der größten Stärken von ChatGPT nicht weiter problematisch, da man je nach Perspektive die Fähigkeiten der KI ja unterschiedlich bewerten kann. So mag die eine Person die Fähigkeit der KI zu lernen, als zentral betrachten, während eine andere Person den Fähigkeiten zur Vorhersage eine größere Bedeutung beimisst. Insofern kann allen oben dargestellten Antwortoptionen eine Berechtigung zugeschrieben werden. Schwierig wird es in den Fällen, in denen es nicht mehrere, sondern nur eine einzige richtige Aussage gibt. In diesem Fall ist die Auswahl des nachfolgenden Begriffes nicht beliebig. Hier erzeugt lediglich ein einziger Begriff eine korrekte Aussage, während alle anderen Begriffe zu einer falschen Aussage führen. Dies macht ein Beispiel von Hudson deutlich, die ChatGPT 30 Mal dieselbe Frage stellte und zwar ob ein Mensch sein Geschlecht wechseln kann (Hudson 2023). ChatGPT gab ihr auf diese Frage drei verschiedene Antworten, wobei die richtige Antwort lediglich in drei der 30 Fälle erfolgte und dabei auch erst nach dem 18. Versuch (Hudson 2023).

Dieses Beispiel zeigt, dass der Dienst weder ein eigenes Text- noch ein Bedeutungs-Verständnis besitzt. Daher können die generierten Texte auch inhaltlich falsch sein. Denn das Aneinanderreihen von Wörtern führt nicht zwingend zu korrekten Aussagen. ChatGPT besitzt weder ein Verständnis der Welt noch hat es einen ethischen Kompass (Kolly und Flügel 2023). Daher kann es völlig unsinnige Empfehlungen von sich geben, Porzellan zu zerstoßen und dieses einem Kleinkind zu verabreichen, damit das darin enthaltene Kalzium und andere unentbehrliche Minieralien dessen Verdauungssystem unterstützen (Kolly und Flügel 2023).

2.1.2 Word-Embeddings

Da die IT mit Zahlen arbeitet, muss jeder Begriff und jedes Satzzeichen eines Textes durch Zahlen repräsentiert werden. Eine einfache Möglichkeit dafür wäre, jedem Begriff eine Zahl zuzuordnen. So könnte man beispielsweise den Begriff „und“ durch die Zahl 32419 repräsentieren und den Begriff „Ball“ durch die Zahl 12877. Eine derartige Zuordnung wäre jedoch willkürlich. Zudem würde die Zahl keine Aussage zur Bedeutung des Begriffes machen.

58Um einer Software ein gewisses Verständnis der Bedeutung von Begriffen zu ermöglichen, hat es sich eingebürgert, dass man mit Worteinbettungen arbeitet. Jedes Wort wird dabei durch einen vieldimensionalen Vektor repräsentiert. Ausgangspunkt bei der Erzeugung von Worteinbettungen ist die Idee, dass die Bedeutung eines Wortes in Zusammenhang mit seinem Kontext steht. Wörter, die dieselbe oder eine ähnliche Bedeutung haben, werden auch im selben Kontext verwendet. Auf Basis dieser Grundidee lassen sich die verschiedenen Begriffe durch Vektoren repräsentieren. Dabei werden die Vektoren möglichst so gebildet, dass Begriffe mit einer ähnlichen Bedeutung im Vektorraum auch nahe beieinanderliegen. So haben beispielsweise die Begriffe „Straße“ und „Gasse“ eine ähnliche Bedeutung, während „Straße“ und „Operation“ zwei ganz unterschiedliche Bedeutungen haben und daher im Vektorraum weit voneinander entfernt liegen. Das Repräsentieren von Begriffen durch Vektoren hat sich als sehr vorteilhaft erwiesen. So stellen die Vektoren nicht nur eine Repräsentation von Bedeutungen dar, mit den Vektoren können darüber hinaus Berechnungen durchgeführt werden. Ein eingängiges Standardbeispiel dafür ist: Wenn man vom Vektor des Begriffes „king“ den Vektor „Mann“ abzieht und den Vektor „Frau“ addiert, dann landet man beim Vektor des Begriffes „queen“.

Abbildung 14: Rechnen mit Begriffen, die als Vektoren repräsentiert werden (Quelle: Dall-E, Prompt: “4 icons: The first is a grandpa.
The second is a grandma. The third is a king. The fourth is a queen.”; Powerpoint; Neuschöpfung mit Gimp)

59Die Repräsentation von Begriffen als Vektoren in einem Vektorraum in Abhängigkeit von deren Kontext eröffnet die Möglichkeit, neue Texte zu generieren, die sprachlich korrekt sind und inhaltlich...