Ab nach Hause
Wie es weitergeht
Du hast diesen Kurs mit einer HTTP-Anfrage und einer Antwort begonnen, die du von Hand gelesen hast. Du beendest ihn mit einem Programm, das ein Modell über einen Client aufruft, seine Antworten streamt, sie in validierte Objekte verwandelt, das Modell deine Funktionen in einer Schleife mit Limits aufrufen lässt, seine Antworten in deinen Notizen fundiert und seine Quellen belegt, gut mit Fehlern umgeht, innerhalb eines Budgets bleibt, ohne Netzwerk getestet ist und gegen einen echten Anbieter läuft, mit einem Schlüssel, den niemand sonst sehen kann. Daraus besteht der größte Teil einer Anwendung, die auf einem Sprachmodell aufbaut.
Von hier aus führen vier Richtungen weiter. Jede baut auf etwas auf, das du schon von Hand gemacht hast.
Retrieval nach Bedeutung: Embeddings
Das Retrieval aus Kapitel 8 vergleicht Wörter. Eine Frage und ein Absatz bekommen einen Punkt für jedes Wort, das sie gemeinsam haben, nachdem die Stoppwörter entfernt wurden. Den Preis dieser Regel hast du zweimal gesehen. In Kapitel 8 passte tuples nicht zu tuple. In der Eval aus Kapitel 10 verfehlte die Frage zum Filtern mit einer List Comprehension ihre Notiz, weil comprehension nicht zu comprehensions passt. Das Programm wusste nichts über Bedeutung; es verglich Schreibweisen.
Ein Embedding ist eine Möglichkeit, stattdessen Bedeutung zu vergleichen. Ein Modell verwandelt ein Stück Text in eine lange Liste von Zahlen, so gewählt, dass Texte über dieselbe Sache ähnliche Listen bekommen. tuples und tuple landen nah beieinander, und ebenso „duplicate a list“ und „make a copy“. Retrieval funktioniert dann wie bei dir, nur mit einer anderen Punktzahl: Bette jeden Abschnitt einmal ein, bette die Frage ein und behalte die Abschnitte, deren Zahlen denen der Frage am nächsten sind. Viele Anbieter bieten neben Chat Completions einen Embeddings-Endpunkt an, und manche Modelle dafür laufen lokal. Sobald es viele Dokumente gibt, speichert ein Vektorspeicher (vector store) die Zahlen und findet die nächstgelegenen schnell.
Alles rund um die Punktzahl bleibt, wie du es gebaut hast: Abschnitte mit Labels, die besten paar im Prompt, Quellenangaben, die gegen das Gesendete geprüft werden, und „Ich weiß es nicht“, wenn nichts nah genug ist. Mit der Eval aus Kapitel 10 würdest du herausfinden, ob Embeddings auf deinen eigenen Notizen besser abrufen als Wörter.
Agenten-Frameworks
Bibliotheken zum Bauen von Agenten schreiben die Schleife für dich: Sie schicken die Anfrage, lesen die Tool-Aufrufe, führen deine Funktionen aus, schicken die Ergebnisse zurück und halten jeden Schritt in einem Trace fest. Das ist run_agent aus Kapitel 7, mit seinem Schrittlimit, seinem Budget, seiner Genehmigung für Tools, die etwas verändern, und seiner Prüfung auf einen wiederholten Aufruf. Weil du diese Schleife selbst geschrieben hast, weißt du, was ein Framework für dich tun muss und wo du suchen musst, wenn es sich falsch verhält: wie viele Schritte es zulässt, was es ausgibt, welche Tools ohne Nachfrage laufen und was es tut, wenn das Modell zweimal dasselbe anfordert.
Evaluierungstools
Die Eval aus Kapitel 10 bestand aus zehn Fragen, bewertet nach Retrieval und nach Quellenangaben, einmal ausgeführt. Evaluierungstools tun dasselbe in größerem Maßstab: mehr Fälle, mehrere Läufe von jedem, um zu sehen, wie stark ein Live-Modell schwankt, und Prüfer, die selbst Modelle sind und beurteilen sollen, ob eine Antwort richtig ist, wenn keine einfache Regel das entscheiden kann. Die Gewohnheit ist die, die du in Kapitel 11 geübt hast: Miss eine Änderung, bevor du sie behältst, und vertraue nur Unterschieden, die größer als das Rauschen sind.
Das Model Context Protocol
In Kapitel 6 hast du dem Modell jede Funktion mit einem Namen, einer Beschreibung und einem JSON-Schema ihrer Argumente beschrieben, und dein Programm hat den Aufruf ausgeführt, wenn das Modell darum gebeten hat. Das Model Context Protocol, MCP, ist ein gemeinsamer Standard genau dafür. Ein Programm, das Tools anbietet, Server genannt, beschreibt sie einmal in einer Standardform, und jede Anwendung, die das Protokoll spricht, kann sie auflisten und aufrufen. Es sind die Beschreibungen und die Weiterleitung aus Kapitel 6, auf die sich viele Programme geeinigt haben, sodass ein einmal geschriebenes Tool von vielen Assistenten genutzt werden kann.
Welche Richtung du auch wählst, dieselben Fragen, die du zu stellen gelernt hast, gelten weiter: Was sieht das Modell, was kann es mein Programm tun lassen, woher weiß ich, dass die Antwort richtig ist, was passiert, wenn ein Aufruf scheitert, und was kostet es?
Warum hat das Retrieval des Kurses den Absatz über tuple bei einer Frage zu tuples verfehlt, und was würde ein Embedding ändern?
Was macht ein Agenten-Framework, das run_agent von Hand erledigt hat?
Was standardisiert das Model Context Protocol?