Gespräche und Anweisungen · Abschlussprojekt
Abschlussprojekt: Projekt: Ein Lern-Chat, der beim Thema bleibt
Du hast alle Teile eines Lern-Chats: eine Systemnachricht, Funktionen, die einen Verlauf um ganze Runden erweitern, und eine Kürzung, die ihn im Budget hält. Dieses Projekt fügt sie zu einer Funktion zusammen, chat_turn, die ein Chat-Programm einmal pro Frage aufrufen kann:
history = []
reply, history = chat_turn(history, "What does len() return?")
reply, history = chat_turn(history, "What's the weather like today?")
Die zweite Antwort bleibt bei Python, weil chat_turn dafür sorgt, dass die Systemnachricht für den Lern-Chat zuerst kommt. Der Aufrufer bewahrt nur history auf und gibt es wieder hinein. Er muss nie daran denken, die Systemnachricht hinzuzufügen, zu kürzen oder einen Anfrage-Body zu bauen.
Du schreibst zwei Funktionen. prepare_messages entscheidet, was geschickt wird, und chat_turn schickt es und baut den neuen Verlauf.
prepare_messages(history, question)
Die Funktion gibt die Liste der Nachrichten zurück, die für eine neue Frage geschickt werden:
Beginne mit einer Kopie von
history, damit die Liste des Aufrufers nie verändert wird.Wenn die Kopie leer ist oder ihre erste Nachricht keine
system-Nachricht ist, setzesystem_message()davor. Wenn der Verlauf bereits mit einer Systemnachricht beginnt, lass diese, wie sie ist, auch wenn ihr Text vonSTUDY_SYSTEMabweicht: Ein Aufrufer, der eigene Anweisungen gewählt hat, soll sie auch bekommen.Füge die Frage mit
next_requesthinzu und nimm die"messages"aus dem Body, den es zurückgibt.Gib diese Nachrichten gekürzt mit
trim_history(messages, MAX_MESSAGES)zurück.
Halte die Schritte in dieser Reihenfolge ein: zuerst die Systemnachricht einsetzen, dann kürzen. Würdest du zuerst kürzen, käme die Systemnachricht danach dazu, ungezählt, und eine Liste, die gerade noch in die Grenze passte, würde sie um eins überschreiten.
chat_turn(history, question, *, session=None)
Die Funktion stellt die Frage und gibt zwei Dinge als Tupel zurück, den Antworttext und den neuen Verlauf:
messages = prepare_messages(history, question).Schicke
{"model": MODEL, "messages": messages}mitsend_bodyund reiche dabeisession=sessionweiter, so wieask_modeles tut.Lies die Antwort mit
answer_text.Gib
(reply, add_turn(messages[:-1], question, reply))zurück.
Den letzten Schritt solltest du dir genauer ansehen. messages endet mit der Frage als offener User-Nachricht, weil genau das geschickt wurde. messages[:-1] ist alles außer dieser letzten Nachricht, und add_turn fügt die Frage zusammen mit der Antwort als eine ganze Runde wieder hinzu. Der neue Verlauf ist also das, was tatsächlich geschickt wurde, bereits gekürzt, plus die abgeschlossene Runde.
chat_turn fängt nichts ab. Wenn die Anfrage fehlschlägt, erreicht der Fehler den Aufrufer, und da keine Liste verändert wurde, ist der Verlauf des Aufrufers genau so, wie er vor dem Aufruf war.
Den Chat ausführen
Führe python conversation.py aus. Die Demonstration beginnt mit einem leeren Verlauf und stellt nacheinander drei Fragen:
The study chat:
You: What does len() return?
Model: len() returns the number of items in a sequence or collection, such as the characters in a string or the elements in a list.
You: What's the weather like today?
Model: I can only help with Python and the course notes. Would you like to look at how loops work instead?
You: What is a Python list?
Model: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
The history now holds 7 messages.
Ohne Systemnachricht beantwortet das geskriptete Modell die Wetterfrage mit I can't check the weather. I don't have access to live information. Im Chat lenkt es zu Python um, weil die Systemnachricht für den Lern-Chat zuerst kam. Der Verlauf endet mit sieben Nachrichten: der Systemnachricht und drei ganzen Runden.
Die Demonstration zeigt den Normalfall. Bevor du deine Arbeit prüfst, probiere im MAX_MESSAGES hinausgewachsen ist, und eine Prüfung, dass die übergebene Liste danach unverändert ist. prepare_messages schickt nichts übers Netzwerk, du kannst es also direkt aufrufen. Starte Python mit python, wie in Lektion 6, und probiere den ersten Fall aus:
from conversation import prepare_messages
print(prepare_messages([{"role": "system", "content": "Reply in Spanish."}], "Hola"))
Die Ausgabe sollte aus zwei Nachrichten bestehen: der spanischen Systemnachricht, nicht der für den Lern-Chat, gefolgt von der Frage Hola. Wenn du bei einem der Fälle nicht weiterkommst, bitte Monty um einen Hinweis zu diesem Fall, ohne nach der ganzen Funktion zu fragen.
Kapitel 3 behält prepare_messages bei, wie es ist, startet von einer fertigen Kopie dieser Datei und ändert nur, wie die Antwort ankommt: Stück für Stück, während das Modell sie schreibt.
prepare_messages setzt zuerst die Systemnachricht ein und kürzt danach. Was geht schief, wenn es zuerst kürzt und die Systemnachricht danach einsetzt?
Warum gibt chat_turn add_turn(messages[:-1], question, reply) zurück und nicht add_turn(messages, question, reply)?
Aufgabe
Ersetze in conversation.py die unfertigen Rümpfe von prepare_messages und chat_turn.
prepare_messages(history, question): Beginne mit einer Kopie vonhistory. Wenn sie leer ist oder ihre erste Nachricht keinesystem-Nachricht ist, setzesystem_message()davor; eine andere Systemnachricht, die bereits an erster Stelle steht, bleibt, wie sie ist. Nimmnext_request(that, question)["messages"]und gibtrim_history(those, MAX_MESSAGES)zurück. Setze zuerst die Systemnachricht ein, dann kürze.chat_turn(history, question, *, session=None):messages = prepare_messages(history, question); schicke{"model": MODEL, "messages": messages}mitsend_body(..., session=session);reply = answer_text(response); gib(reply, add_turn(messages[:-1], question, reply))zurück.
Keine der beiden Funktionen darf die Liste des Aufrufers ändern, und chat_turn fängt keine Ausnahmen ab. Führe python conversation.py aus, um zu sehen, wie der Lern-Chat beim Thema bleibt, und prüfe dann deine Arbeit.