ChatGPT - Mit KI in ein neues Zeitalter (eBook)

2ChatGPT und generative Modelle sowie weitere KI-Tools

2.1Universaltalent ChatGPT

ChatGPT fasziniert vom ersten Augenblick an: Es generiert erstaunliche Texte zu jedem beliebigen Thema. Es kann Briefe, Reden, Gedichte, Romane und ganze Examensarbeiten schreiben. Es gibt auf jede Frage eine kluge Antwort – nur leider nicht immer eine korrekte!

Der Name ChatGPT setzt sich aus zwei Bestandteilen zusammen: Das Kürzel GPT steht für Generative Pretrained Transformer, wobei generative bezeichnet, dass die KI neue Texte erzeugen kann und dafür auf bereits gelernte Texte zurückgreift. Pretrained steht für die gigantischen Textmengen, die zum Training des Modells verwendet wurden, und Transformer bezeichnet die zugrunde liegende technische Architektur der Software. Transformer, das haben wir im vorherigen Kapitel gezeigt, sind eine wichtige und mächtige Schlüsseltechnologie des Deep Learnings, die große Mengen an Texten in tiefen neuronalen Netzwerken mit sehr vielen Parametern verarbeiten und daraus neue Texte in nahezu perfekter natürlicher Sprache erstellen können.

Der Namensbestandteil Chat steht für die Benutzerschnittstelle, die einen entscheidenden Anteil an der raschen Verbreitung des Tools von OpenAI für sich verbuchen kann. Wir alle kennen Chatoberflächen aus Messenger-Diensten wie WhatsApp und haben dort deren Verwendung gelernt. Der Chat des Transformers wird wie beim Messenger mit Eingaben in natürlicher Sprache gefüttert und wir unterhalten uns mit dem Bot wie mit einem menschlichen Gegenüber, während die Vorläufer des Systems noch formale Eingaben für die Prompts erforderten. Hatten bislang also nur Fachleute mit Kenntnissen in formalen Sprachen Zugang zu den Sprachmodellen GPT, GPT-2 und GPT-3, wurde mit der Veröffentlichung von ChatGPT diese Barriere endgültig überwunden. Wir formulieren unsere Prompts jetzt in natürlicher Sprache. Es entsteht ein Dialog zwischen Mensch und Maschine.

Die simple Formel »Eingabe in natürlicher Sprache erzeugt Ausgabe in natürlicher Sprache« war das Erfolgsrezept schlechthin und sorgte (neben der Multilingualität) für eine rasende Verbreitung des Systems quer über den ganzen Erdball. Unsere Sucheingaben bei Google erfolgen immer noch stichwortartig oder als kurze Fragen, wir versuchen intuitiv, uns den beschränkten sprachlichen Fähigkeiten der Suchmaschine anzupassen. Anders mit ChatGPT. Schon nach wenigen Prompts begreifen wir, wie gut die Maschine aus fast beliebigen Sätzen unsere Intention herausliest, selbst Nuancen genau versteht, und plaudern dann einfach drauflos. Die Fähigkeit, mit der ChatGPT den Inhalt und vor allem die Intention vieler Fragen versteht, geht jetzt schon weit über alles hinaus, was die Suchmaschine Google leisten kann. Kein Wunder also, dass beim Suchmaschinen-Giganten aus Mountain View in Kalifornien spätestens seit Anfang 2023 die Alarmglocken läuten und sogar die beiden Gründer Larry Page und Sergey Brin zur Unterstützung der operativen Führung wieder zurückgerufen wurden.

2.2Die Entwicklung von GPT

Angeblich bei einem gemeinsamen Abendessen im Sommer 2015 fiel der Startschuss zur Gründung von OpenAI, das von Anfang an ein sehr ambitioniertes Projekt in der KI-Entwicklung war. Die im Gründungsdokument niedergelegte Vision besagte, die Entwicklung von Artificial General Intelligence (AGI) solle der ganzen Gesellschaft zugutekommen und positive Auswirkungen auf die gesamte Menschheit haben. Das Gründerteam, zu dem auch Elon Musk und Sam Altman gehörten, trieb die Entwicklung massiv voran und veröffentlichte bereits im Jahr 2016 ein Toolkit für die Entwicklung und den Vergleich von Algorithmen des Reinforcement Learnings. Damit konnten nicht nur die Forscher von OpenAI ihre Modelle auf standardisierte Weise trainieren und bewerten. Das Toolkit stand allen Teams auf dem ganzen Erdball zur Verfügung, was den Vergleich der Ergebnisse und den Austausch von Ideen erheblich erleichterte.

Schon ein Jahr später, 2017, veröffentlichte OpenAI die erste Version seines Sprachmodells GPT und setzte damit hohe Standards für alle anderen Modelle. Das Modell war schon zu diesem Zeitpunkt in der Lage, Texte zu erzeugen, die von realer menschlicher Sprache kaum zu unterscheiden waren. Kein Wunder, dass GPT in der Fachwelt als Durchbruch gefeiert wurde, weil es endgültig bewiesen hatte, dass KI menschliche Sprache nicht nur verstehen, sondern auch in verblüffender Qualität erzeugen kann.

Jetzt ging gefühlt alles Schlag auf Schlag: Zwei Jahre später folgte mit GPT-2 die verbesserte Version von GPT, die Sprachqualität konnte erheblich gesteigert werden. Als OpenAI die neue Version im Februar 2019 vorstellte, entschied sich das Unternehmen, das trainierte Modell nicht vollständig öffentlich zugänglich zu machen. Grund dafür war die Sorge, dass es missbraucht und für verwerfliche Zwecke wie beispielsweise die Massenproduktion von Fake News oder Spam benutzt werden könnte. Die abgespeckte Version von GPT-2 wurde in einem Blogbeitrag des Herstellers mit Bedenken bezüglich der Sicherheit und Ethik begründet: Die Fähigkeiten des Modells zur massenhaften Erzeugung kohärenter und glaubwürdiger Texte über eine Vielzahl von Themen könne in falsche Hände geraten und missbraucht werden. Bis schließlich, nach einer Phase des Monitorings und der Bewertung der Auswirkungen bis dato veröffentlichter Modelle, im November 2019 endlich doch das vollständige Modell der Öffentlichkeit zugänglich gemacht wurde.

GPT-3 folgte Anfang 2021 und wurde von Experten sofort als eines der leistungsfähigsten NLP-Modelle (Natural Language Processing) aller Zeiten in den höchsten Tönen gelobt, auch weil es sprachbasierte Aufgaben wie Übersetzung, Zusammenfassungen und die Beantwortung von Fragen schon mit hoher Präzision ausführen konnte. OpenAI war auch zu diesem Zeitpunkt nur einem eng begrenzten Fachpublikum bekannt, was sich mit der Veröffentlichung von ChatGPT schlagartig änderte: Der Chatbot auf Basis von GPT-3 ging nach der Freigabe der öffentlichen Betaversion viral und in einer Rekordzeit von nur fünf Tagen hatten sich schon eine Million Nutzer für die Benutzung des Tools registriert. Schneller hatte sich noch keine Technologie verbreitet, selbst Facebook und TikTok wurden in Bezug auf ihre Verbreitungsgeschwindigkeit vom Chatbot weit in den Schatten gestellt.

Ob sich die Gründungsidee des Unternehmens durchsetzen wird, dass KI allen Menschen zugutekommen und nur für gute Zwecke wie Bildung, Gesundheitsfürsorge und die Bekämpfung des Klimawandels eingesetzt werden sollte, ohne dabei die Ethik aus den Augen zu verlieren, muss sich in den kommenden Jahren zeigen. Sam Altman, der CEO des Unternehmens, scheint sich immer noch leidenschaftlich dafür einzusetzen, obwohl OpenAI längst die Unschuld eines sympathischen Start-ups verloren hat. Twitter-Inhaber und Tesla-CEO Elon Musk hat nach Differenzen mit Altman bereits 2018 das Unternehmen verlassen.

OpenAI wurde nicht müde, laufend neue Modelle und Tools zu veröffentlichen und wichtige Beiträge zur Entwicklung der künstlichen Intelligenz zu leisten. Der Open-Source-Ansatz des Projektes hat KI für Forscher, Entwickler und Unternehmen geöffnet und die Entwicklung der Technologie wesentlich beschleunigt. Auch wenn GPT angeblich bereits mit beeindruckenden acht Millionen Webseiten und 40 GB Text trainiert werden konnte, wurde das Ziel eines natürlichen Sprachsystems erst Jahre später mit der Version GPT-3 erreicht. Aus 40 GB Texten wurden 45 TB an lizenzfreien Büchern und anderen Quellen und der Fokus hat sich von einzelnen Sätzen und kleinen Abschnitten auf immer längere Texte und zusammenhängende Werke verschoben. Der Bot selbst bestätigt auf Nachfrage die Größe des Trainingsdatensatzes von GPT-3, weist aber gleichzeitig darauf hin, dass genaue Details zu den Trainingsdaten von GPT-Modellen »proprietär« seien und von OpenAI nicht vollständig offengelegt werden. Ein möglicher Grund dafür wird in Kapitel 8  Thema sein. Mit diesem unvorstellbar großen Trainingsdatensatz kann GPT-3 Antworten auf fast alle Fragen geben und Vorhersagen auch bei komplexen Zusammenhängen treffen.

Die Erzeugung sprachlich korrekter Sätze und kohärenter Texte zu vielen Themen erfordert neben umfangreichen Trainingsdaten auch sehr fortschrittliche KI-Technologien, wie wir sie im vorherigen Kapitel bereits vorgestellt haben. Nach der Version 3.0 folgte GPT-3.5 mit vielen Verbesserungen. Mit GPT-3.5 wurden aber weder die Anzahl der Parameter des Modells (s. Abschnitt 2.5) noch die Trainingsdaten nennenswert erweitert, sondern andere Verbesserungen eingearbeitet. GPT-3 hatte noch die Tendenz, Wissenslücken eloquent zu überspielen, was man in der Fachwelt als Halluzinieren beschrieben hatte. Wie ein schlecht vorbereiteter Schüler in der mündlichen Abiturprüfung versucht, Wissenslücken mir einem wortgewandten Redeschwall zu überspielen, produzierte auch das Modell häufig wohlformulierte, aber falsche Inhalte und gab Antworten mit potenziell schädlichen Falschinformationen. Das Fatale daran war, dass die Inhalte des KI-Chatbots zwar immer glaubwürdig klangen, im Prinzip aber oftmals frei erfunden waren. Diese Unart macht sich nun auch in der aktuellen 4er-Version weniger häufig bemerkbar, gänzlich verschwunden ist sie aber noch lange nicht.

2.3Aufmerksamkeits- versus Konversationsfenster

In Zusammenhang mit Transformer-Modellen, wie sie in den Architekturen von GPT und Googles BERT...