Anwendungen mit GPT-4 und ChatGPT entwickeln (eBook)

KAPITEL 2

Die APIs von GPT-4 und ChatGPT

Dieses Kapitel schaut sich die APIs von GPT-4 und ChatGPT im Detail an. Das Ziel ist, Ihnen ein solides Verständnis vom Einsatz dieser APIs zu vermitteln, sodass Sie sie effektiv in Ihre Python-Anwendungen einbinden können. Am Ende des Kapitels werden Sie wissen, wie Sie diese APIs einsetzen und ihre umfassenden Fähigkeiten in Ihren eigenen Entwicklungsprojekten ausreizen können.

Wir beginnen mit einer Einführung in den OpenAI Playground. Diese dient dazu, die Modelle besser verstehen, bevor Sie damit beginnen, Code zu schreiben. Dann werden wir uns die OpenAI-Python-Bibliothek anschauen. Dazu gehören die Anmeldeinformationen und ein einfaches »Hallo Welt«-Beispiel. Als Nächstes kümmern wir uns um das Erstellen und Abschicken von Requests an die APIs und um den Umgang mit den entsprechenden Responses. Damit wissen Sie, wie Sie die von diesen APIs zurückgegebenen Daten zu interpretieren haben. Zudem wird das Kapitel auf Best Practices im Bereich Sicherheit und auf Kostenbetrachtungen eingehen.

Auf dem Weg werden Sie Wissen ansammeln, das bei Ihrer Reise durch die Python-Entwicklung mit GPT-4 und ChatGPT hilfreich ist. Den gesamten Python-Code, der in diesem Kapitel vorkommt, finden Sie im GitHub-Repository zu diesem Buch (https://oreil.ly/DevAppsGPT_GitHub).

Bevor Sie fortfahren, schauen Sie sich bitte die OpenAI Usage Policies (https://openai.com/policies/usage-policies) an, und wenn Sie nicht schon einen Account haben, erstellen Sie einen auf der OpenAI-Homepage (https://openai.com). Sie können sich auch die anderen rechtlichen Dokumente auf der Terms-and-Policies-Seite (https://openai.com/policies) vornehmen. Die in Kapitel 1 vorgestellten Konzepte gelten ebenfalls für den Einsatz der OpenAI-API und der Bibliotheken.

Grundlegende Konzepte

OpenAI bietet verschiedene Modelle an, die für die unterschiedlichen Aufgaben optimiert sind, und jedes hat sein eigenes Preismodell. Auf den folgenden Seiten werden Sie einen detaillierten Vergleich der verfügbaren Modelle und Tipps zur Auswahl des richtigen Modells finden. Es ist wichtig, darauf hinzuweisen, dass der Zweck, für den ein Modell designt wurde – Textvervollständigung, Chat oder Editieren –, Einfluss darauf hat, wie Sie seine API nutzen. Die Modelle hinter ChatGPT und GPT-4 sind beispielsweise chatbasiert und nutzen auch einen Chat-Endpoint.

Das Konzept der Prompts wurde in Kapitel 1 vorgestellt. Prompts sind nicht spezifisch für die OpenAI-API, sondern der Entrypoint für alle LLMs. Einfach gesagt, sind Prompts der Eingabetext, den Sie an das Modell schicken, und sie werden genutzt, um das Modell mit der spezifischen Aufgabe zu versorgen, die es erledigen soll. Bei den ChatGPT- und GPT-4-Modellen haben die Prompts ein Chatformat, wobei die Ein- und Ausgabenachrichten in einer Liste abgelegt sind. Wir werden die Details dieses Prompt-Formats in diesem Kapitel behandeln.

Das Konzept von Tokens wurde ebenfalls in Kapitel 1 beschrieben. Tokens sind Wörter oder Wortteile. Eine Faustregel besagt, dass 100 Tokens ungefähr 75 Wörtern eines englischen Texts entsprechen. Requests an die OpenAI-Modelle werden basierend auf der Anzahl der verwendeten Tokens bepreist – die Kosten eines Aufrufs an die API hängen also von der Länge des Eingabetexts und der des Ausgabetexts ab. Mehr Details zum Managen und Steuern der Anzahl der Ein- und Ausgabe-Tokens finden Sie in den Abschnitten »ChatGPT und GPT-4 einsetzen« auf Seite 48 und »Andere Modelle zur Textvervollständigung verwenden« auf Seite 55.

Diese Konzepte sind in Abbildung 2-1 zusammengefasst.

Abbildung 2-1: Grundlegende Konzepte für den Einsatz der OpenAI-API

Nachdem wir die Konzepte behandelt haben, wollen wir uns den Details der Modelle zuwenden.

In der OpenAI-API verfügbare Modelle

Die OpenAI-API ermöglicht Ihnen den Zugriff auf diverse Modelle, die von OpenAI entwickelt wurden (https://platform.openai.com/docs/models). Diese Modelle stehen über eine API als Service zur Verfügung (durch einen direkten HTTP-Aufruf oder eine bereitgestellte Bibliothek) – OpenAI führt die Modelle also auf Remote-Servern aus, und man kann einfach Queries an sie schicken.

Jedes Modell besitzt eine andere Zusammenstellung an Features und eine andere Bepreisung. In diesem Abschnitt werden wir uns die LLMs anschauen, die OpenAI über seine API anbietet. Sie müssen im Blick behalten, dass diese Modelle proprietär sind, Sie also den Code nicht direkt verändern können, um sie an Ihre Bedürfnisse anzupassen. Aber wie wir später sehen werden, können Sie ein paar von ihnen über die OpenAI-API für Ihre spezifischen Daten optimieren.

Einige ältere Modelle von OpenAI, unter anderem das GPT-2-Modell, sind nicht proprietär. Sie können das GPT-2-Modell zwar von Hugging Face (https://oreil.ly/39Bu5) oder GitHub (https://oreil.ly/CYPN6) herunterladen, es aber nicht über die API ansprechen.

Da viele der von OpenAI angebotenen Modelle kontinuierlich aktualisiert werden, ist es schwierig, hier im Buch eine vollständige Liste anzugeben – eine aktualisierte Liste der von OpenAI angebotenen Modelle finden Sie in der Onlinedokumentation (https://platform.openai.com/docs/models). Daher werden wir uns hier auf die wichtigsten Modelle konzentrieren:

InstructGPT

Diese Modellfamilie kann viele Singleturn-Vervollständigungsaufgaben erledigen. Das Modell text-ada-001 erledigt nur einfache Vervollständigungsaufgaben, ist aber das schnellste und günstigste Modell in der GPT-3-Serie. text-babbage-001 und text-curie-001 sind ein bisschen leistungsfähiger, aber auch teurer. Und das Modell text-davinci-003 kann alle Vervollständigungsaufgaben mit ausgezeichneter Qualität erledigen, ist aber auch das teuerste in der Familie der GPT-3-Modelle.

ChatGPT

Das Modell hinter ChatGPT ist gpt-3.5-turbo. Als Chatmodell kann es eine Folge von Texten als Eingabe übernehmen und eine passend generierte Nachricht als Ausgabe zurückgeben. Das Chatformat von gpt-3.5-turbo ist zwar für Multiturn-Unterhaltungen gedacht, Sie können es aber auch für Singleturn-Aufgaben ohne Dialog nutzen. Bei Singleturn-Aufgaben ist die Performance von gpt-3.5-turbo vergleichbar mit der von text-davinci-003, und da gpt-3.5-turbo nur ein Zehntel des Preises kostet und dabei mehr oder weniger die gleiche Leistung bietet, empfiehlt es sich, dieses auch standardmäßig für Single-turn-Aufgaben zu verwenden. Das Modell gpt-3.5-turbo besitzt eine Kontextgröße von 4.000 Tokens – es kann also 4.000 Tokens als Eingabe übernehmen. OpenAI bietet darüber hinaus ein weiteres Modell namens gpt-3.5-turbo-16k an, das die gleichen Fähigkeiten wie das Standardmodell gpt-3.5-turbo besitzt, aber mit der vierfachen Kontextgröße.

GPT-4

Das ist das größte Modell, das von OpenAI veröffentlicht wurde. Es wurde zudem mit dem umfassendsten multimodalen Korpus aus Text und Bildern trainiert. So besitzt es Wissen und Expertise in vielen Bereichen. GPT-4 kann komplexe Anweisungen in natürlicher Sprache verstehen und schwierige Probleme korrekt lösen. Es kann sowohl für Chat- wie auch für Singleturn-Aufgaben zum Einsatz kommen und ist dabei sehr exakt. OpenAI bietet zwei verschiedene GPT-4-Modelle an: gpt-4 hat eine Kontextgröße von 8.000 Tokens, gpt-4-32k eine von 32.000 Tokens. Ein Kontext von 32.000 Tokens steht für ungefähr 24.000 Wörter – was in etwa 40 Seiten entspricht.

Sowohl GPT-3.5 Turbo als auch GPT-4 werden kontinuierlich aktualisiert. Beziehen wir uns auf die Modelle gpt-3.5-turbo, gpt-3.5-turbo-16k, gpt-4 und gpt-4-32k, meinen wir damit jeweils die aktuellste Version dieser Modelle.

Bei der Entwicklung benötigt man oft mehr Stabilität und bessere Einblicke in die LLM-Version als beim eigentlichen Einsatz in der Anwendung. Es kann schwierig sein, Modellsprachen zu verwenden, bei denen sich die Version über Nacht ändern kann und für den gleichen Eingabe-Prompt andere Ergebnisse liefert. Für solche Zwecke stehen auch statische Snapshot-Versionen dieser Modelle zur Verfügung. Beim Entstehen dieser Zeilen waren das gpt-3.5-turbo-0613, gpt-3.5-turbo-16k-0613, gpt-4-0613 und gpt-4-32k-0613.

Wie schon in Kapitel 1 erwähnt, empfiehlt OpenAI den Einsatz der InstructGPT-Serie statt der ursprünglichen auf GPT-3 basierenden Modelle. Diese Modelle stehen in der API immer noch unter den Namen...