Kapitel 2 · Übung
Gespräche und Anweisungen
Ein Modell erinnert sich an nichts
In Kapitel 1 hast du gelesen, dass ein Modell zwischen zwei Aufrufen nichts behält. Diese Lektion zeigt dir das in Aktion und behebt es dann auf die einzige mögliche Weise: Dein Programm schickt das Gespräch bei jeder Anfrage erneut mit.
Dein Projekt für dieses Kapitel
Öffne conversation.py im Projekteditor. Die Datei beginnt mit einem Import:
from llm_basics import MODEL, answer_text, ask_model, send_body
llm_basics.py ist der fertige Code aus Kapitel 1 und liegt direkt daneben, sodass ask_model, send_body und answer_text so funktionieren, wie du sie gebaut hast. Du musst diese Datei nicht ändern. Die Prüfung deiner Arbeit verwendet eine eigene Kopie davon, eine Änderung dort kann also keine Bewertung beeinflussen, aber sie kann die Demonstration lahmlegen.
Unter dem Import stehen zwei Konstanten, die du später im Kapitel brauchst, und acht unfertige Funktionen. Wie in Kapitel 1 führt python conversation.py die Datei aus, und die Demonstration am Ende ruft jede Funktion auf, sobald es sie gibt.
Zwei Aufrufe, die nichts voneinander wissen
Führe in der Shell jetzt python conversation.py aus, bevor du irgendetwas änderst. Die Demonstration schickt My name is Sam. mit ask_model und danach What is my name? mit einem zweiten, separaten Aufruf von ask_model:
Two separate calls:
You: My name is Sam.
Model: Nice to meet you, Sam.
You: What is my name?
Model: I don't know your name. You haven't told me in this conversation.
One call that carries the history:
Run stopped at the next function to build: remembering_messages is built in Lesson 1.
Die letzte Zeile ist dieselbe Stoppzeile wie in Kapitel 1: Die Demonstration hält bei der ersten Funktion an, die du noch nicht gebaut hast. Die zweite Anfrage enthielt eine einzige Nachricht, What is my name?, und sonst nichts. Aus Sicht des Modells ist diese Anfrage das ganze Gespräch. Die erste Anfrage hat stattgefunden, aber nichts davon ist bei der zweiten angekommen.
Ein echtes Modell verhält sich genauso. Das geskriptete Modell gibt genau diese Antwort, weil sie so geschrieben wurde, aber auch ein Live-Modell, das nur What is my name? bekommt, kann die Antwort nicht wissen.
Schicke den Verlauf mit
Damit das Modell antworten kann, muss die zweite Anfrage neben der neuen Frage auch den ersten Austausch enthalten. Die Liste messages einer Chat-Anfrage enthält das Gespräch in seiner Reihenfolge, das Älteste zuerst:
messages = [
{"role": "user", "content": "My name is Sam."},
{"role": "assistant", "content": "Nice to meet you, Sam."},
{"role": "user", "content": "What is my name?"},
]
for message in messages:
print(message["role"], "said:", message["content"])
Was du getippt hast, kommt wie in Kapitel 1 als user-Nachricht hinein. Die frühere Antwort des Modells geht als assistant-Nachricht zurück, damit das Modell sehen kann, was es vorher gesagt hat. Lektion 2 sieht sich diese Rollen und eine dritte genauer an.
Diese Liste ist der Verlauf des Gesprächs. Das Modell speichert ihn nirgends. Dein Programm bewahrt ihn auf und schickt ihn jedes Mal vollständig mit, und das Modell liest ihn bei jedem Aufruf neu. So scheint sich jede Chat-App, die du je benutzt hast, zu erinnern.
Baue remembering_messages
remembering_messages() gibt genau diese Liste mit drei Nachrichten zurück: My name is Sam. vom User, Nice to meet you, Sam. vom Assistant und What is my name? vom User, in dieser Reihenfolge und mit genau diesem Text.
Gib bei jedem Aufruf eine neue Liste zurück. Das erreichst du, indem du die Liste im Funktionsrumpf hinschreibst, denn Python baut jedes Mal eine frische Liste, wenn die Zeile ausgeführt wird. Würde die Funktion stattdessen eine Liste zurückgeben, die oben in der Datei gespeichert ist, würden sich alle Aufrufer diese eine Liste teilen, und ein Aufrufer, der eine Nachricht anhängt, würde ändern, was der nächste Aufrufer bekommt. Lektion 3 ist auf Verläufe angewiesen, die sich nicht hinter deinem Rücken ändern.
Führe python conversation.py noch einmal aus. Die Demonstration schickt deine Liste mit send_body:
response = send_body({"model": MODEL, "messages": remembering_messages()})
und diesmal antwortet das Modell anhand des Verlaufs:
One call that carries the history:
Model: Your name is Sam.
A system message first:
Run stopped at the next function to build: system_message is built in Lesson 2.
Das geskriptete Modell hat für What is my name? eine vorbereitete Antwort, die es nur gibt, wenn eine frühere User-Nachricht my name is sam enthält. SCRIPTED_MODEL.md führt diese Regel auf. Sie steht stellvertretend für das, was ein echtes Modell tut, wenn es den Verlauf liest, sodass du den Unterschied auch ohne Live-Modell sehen kannst.
Eine Chat-App zeigt ein langes Gespräch, und die neueste Antwort des Modells bezieht sich auf etwas, das du zehn Nachrichten vorher gesagt hast. Wodurch war das möglich?
Mit welcher Rolle erscheint die frühere Antwort des Modells, Nice to meet you, Sam., in dem Verlauf, den du schickst?
Aufgabe
Ersetze in conversation.py den unfertigen Rumpf von remembering_messages().
Gib eine neue Liste mit drei Nachrichten in dieser Reihenfolge zurück:
{"role": "user", "content": "My name is Sam."}{"role": "assistant", "content": "Nice to meet you, Sam."}{"role": "user", "content": "What is my name?"}
Führe python conversation.py aus, um zu sehen, wie das Modell anhand des Verlaufs antwortet, und prüfe dann deine Arbeit.