Praxiseinstieg Large Language Models (eBook)

Einleitung

Hallo! Mein Name ist Sinan Ozdemir. In bin ein ehemaliger theoretischer Mathematiker, der zum Universitätsdozenten wurde, dann zum KI-Enthusiasten, zum erfolgreichen Start-up-Gründer, zum KI-Lehrbuchautor und zum Berater für Risikokapitalgeber. Heute bin ich auch Ihr Reiseleiter durch das riesige Museum des Wissens, das die Entwicklung von Large Language Models (LLMs), also großen Sprachmodellen, und deren Anwendungen darstellt. Mit diesem Buch verfolge ich zwei Ziele: das Gebiet der LLMs zu entmystifizieren und Sie mit praktischem Wissen auszustatten, damit Sie in der Lage sind, mit LLMs zu experimentieren, zu programmieren und zu bauen.

Aber dies ist kein Schulungsraum, und ich bin kein typischer Professor. Ich bin nicht hier, um Sie mit komplizierter Terminologie zu überschütten. Vielmehr möchte ich komplexe Konzepte leicht verdaulich, nachvollziehbar und – was noch wichtiger ist – anwendbar machen.

Aber jetzt genug von mir. Dieses Buch ist nicht für mich – es ist für Sie. Ich möchte Ihnen einige Tipps dazu geben, wie Sie dieses Buch lesen können, wie Sie dieses Buch noch einmal lesen können (wenn ich meine Arbeit richtig gemacht habe) und wie Sie sicherstellen können, dass Sie alles, was Sie brauchen, aus diesem Text herausholen.

Leserkreis und Voraussetzungen

Für wen ist dieses Buch gedacht, werden Sie fragen. Nun, meine Antwort ist einfach: für jeden, der neugierig auf LLMs ist, den ehrgeizigen Programmierer, die unermüdlich Lernende. Ganz gleich, ob Sie sich bereits mit maschinellem Lernen (Machine Learning) beschäftigt haben oder erst am Rand stehen und Ihre Zehenspitzen in diesen riesigen Ozean tauchen, dieses Buch ist Ihr Leitfaden, Ihre Landkarte, um in den Gewässern der LLMs zu navigieren.

Aber ich will ehrlich zu Ihnen sein: Um das meiste aus dieser Reise herauszuholen, ist eine gewisse Erfahrung mit Machine Learning und Python von unschätzbarem Vorteil. Das heißt nicht, dass Sie ohne diese Kenntnisse nicht überleben werden, aber ohne diese Werkzeuge könnten die Gewässer ein wenig unruhig erscheinen. Wenn Sie unterwegs lernen, ist das aber auch prima! Einige der Konzepte, die wir erforschen werden, erfordern nicht unbedingt eine umfangreiche Programmierung, die meisten jedoch schon.

Ich habe auch versucht, in diesem Buch ein Gleichgewicht zwischen tiefem theoretischem Verständnis und praktischen Fertigkeiten herzustellen. Jedes Kapitel ist mit Analogien gefüllt, um das Komplexe einfach zu machen, gefolgt von Codeauszügen, die die Konzepte zum Leben erwecken. Im Wesentlichen habe ich dieses Buch als Ihr LLM-Dozent und Tutor geschrieben, um dieses faszinierende Gebiet zu entwirren und zu vereinfachen, anstatt Sie mit akademischem Fachjargon zu überhäufen. Ich möchte, dass Sie aus jedem Kapitel mit einem klareren Verständnis des Themas und dem Wissen, wie es in der Praxis anzuwenden ist, herausgehen.

Wie man an dieses Buch herangeht

Wie eben erwähnt, werden Sie einen leichteren Zugang zu diesem Buch haben, wenn Sie bereits Erfahrung in Machine Learning mitbringen, als wenn Sie komplett bei null anfangen. Dennoch steht der Weg offen für jeden, der in Python programmieren kann und bereit ist zu lernen. Dieses Buch ermöglicht verschiedene Stufen der Beteiligung, je nach Ihrem Hintergrund, Ihren Zielen und Ihrer verfügbaren Zeit. So können Sie tief in die praktischen Abschnitte eintauchen, mit dem Code experimentieren und die Modelle optimieren, oder Sie beschäftigen sich mit den theoretischen Teilen und eignen sich ein solides Verständnis von der Funktionsweise der LLMs an, ohne eine einzige Zeile Code zu schreiben. Sie haben die Wahl.

Wenn Sie das Buch durcharbeiten, sollten Sie daran denken, dass jedes Kapitel in der Regel auf vorherigen Arbeiten aufbaut. Die Kenntnisse und Fertigkeiten, die Sie in einem Abschnitt erwerben, werden in den nachfolgenden Kapiteln zu wertvollen Werkzeugen. Die Herausforderungen, denen Sie sich stellen müssen, sind Teil des Lernprozesses. Es kann sein, dass Sie manchmal etwas durcheinanderkommen, frustriert sind und vielleicht auch gar nicht weiterkommen. Als ich das visuelle Frage-Antwort-System (Visual Question-Answering, VQA) für dieses Buch entwickelte, hatte ich wiederholt mit Fehlschlägen zu kämpfen. Das Modell hat nur Unsinn ausgespuckt, immer wieder die gleichen Phrasen. Aber dann, nach unzähligen Wiederholungen, begann es, sinnvolle Ergebnisse zu erzeugen. Dieser Moment des Triumphs, das Hochgefühl, einen Durchbruch erzielt zu haben, war jeden Fehlversuch wert. Dieses Buch bietet Ihnen ähnliche Herausforderungen und folglich auch die Chance auf ähnliche Triumphe.

Aufbau dieses Buchs

Das Buch umfasst vier Teile.

Teil I: Einführung in Large Language Models

Die Kapitel in Teil I bieten eine Einführung in LLMs (Large Language Models) oder mit großen Datenmengen trainierte Sprachmodelle.

• Kapitel 1: Überblick über Large Language Models

  Dieses Kapitel bietet einen breiten Überblick über die Welt von LLMs. Es behandelt die Grundlagen: Was sind sie, wie funktionieren sie, und warum sind sie wichtig? Am Ende dieses Kapitel besitzen Sie solide Grundkenntnisse, um den Rest des Buchs zu verstehen.

• Kapitel 2: Semantische Suche mit LLMs

  Aufbauend auf den in Kapitel 1 gelegten Grundlagen, untersucht Kapitel 2, wie sich LLMs für eine der einflussreichsten Anwendungen der Sprachmodelle einsetzen lassen – die semantische Suche. Wir erstellen ein Suchsystem, das die Bedeutung Ihrer Abfrage versteht und nicht nur Schlüsselwörter vergleicht.

• Kapitel 3: Erstes Prompt Engineering und ein Chatbot mit ChatGPT

  Die Kunst und Wissenschaft, effektive Prompts zu erstellen, ist entscheidend, um die Vorzüge von LLMs nutzen zu können. Kapitel 3 bietet eine praktische Einführung in das Prompt Engineering mit Richtlinien und Techniken, um das Beste aus Ihren LLMs herauszuholen. Zum Schluss erstellen wir einen Chatbot, der auf ChatGPT aufsetzt und die API nutzt, die wir in Kapitel 2 aufgebaut haben.

Teil II: Das Beste aus LLMs herausholen

In Teil II erklimmen Sie die nächste Ebene.

• Kapitel 4: LLMs mit individuellem Feintuning optimieren

  In der Welt der LLMs gibt es keine Einheitslösung. Kapitel 4 erläutert, wie Sie LLMs mit Ihren eigenen Datensets feintunen können. Anhand von praktischen Beispielen und Übungen lernen Sie, wie Sie Ihre Modelle im Handumdrehen anpassen.

• Kapitel 5: Fortgeschrittenes Prompt Engineering

  Jetzt tauchen wir tiefer in die Welt des Prompt Engineering ein. Kapitel 5 befasst sich mit fortgeschrittenen Strategien und Techniken, die Ihnen helfen, noch mehr aus Ihren LLMs herauszuholen – zum Beispiel Validierung der Ausgabe und semantisches Few-Shot-Learning.

• Kapitel 6: Embeddings und Modellarchitekturen anpassen

  In Kapitel 6 erkunden wir die eher technische Seite von LLMs. Wir zeigen, wie man Modellarchitekturen und Embeddings modifiziert, um sie besser auf die eigenen spezifischen Anwendungsfälle und Anforderungen abzustimmen. Außerdem passen wir LLM-Architekturen an unsere Bedürfnisse an und führen ein Feintuning an einer Empfehlungsengine durch, die die Modelle von OpenAI übertrifft.

Teil III: Fortgeschrittene LLM-Nutzung

• Kapitel 7: Jenseits der Basismodelle: LLMs kombinieren

  Kapitel 7 untersucht einige der Modelle und Architekturen der nächsten Generation, die die Grenzen dessen verschieben, was mit LLMs möglich ist. Wir kombinieren mehrere LLMs und richten ein Framework ein, damit Sie Ihre eigenen LLM-Architekturen mit PyTorch aufbauen können. Außerdem stellt dieses Reinforcement Learning (bestärkendes Lernen) aus Rückkopplungen vor, um LLMs auf Ihre Bedürfnisse auszurichten.

• Kapitel 8: Feintuning fortgeschrittener Open-Source-LLMs

  In Fortsetzung von Kapitel 7 bietet Kapitel 8 praktische Richtlinien und Beispiele für das Feintuning fortgeschrittener Open-Source-LLMs, wobei der Schwerpunkt auf der praktischen Umsetzung liegt. Wir werden LLMs nicht nur mithilfe von generischer Sprachmodellierung feintunen, sondern auch mit fortgeschrittenen Methoden wie Reinforcement Learning aus Rückkopplungen, um unsere eigenes auf Anweisungen ausgerichtetes LLM namens SAWYER zu kreieren.

• Kapitel 9: LLMs in die Produktion überführen

  Dieses letzte Kapitel fasst alles zusammen, indem es die praktischen Überlegungen zur Bereitstellung von LLMs in Produktionsumgebungen untersucht. Unter anderem geht es darum, wie man Modelle skaliert, Echtzeitanfragen verarbeitet und sicherstellt, dass unsere Modelle robust und zuverlässig...