Gespräche und Anweisungen · Übung
Den Verlauf im Budget halten
Ein Verlauf, der endlos wächst, wird irgendwann zu teuer zum Verschicken und dann zu lang, als dass das Modell ihn überhaupt noch lesen könnte. Die Lösung ist, weniger zu schicken: Behalte, was wichtig ist, und lass die ältesten Runden weg. Diese Lektion baut trim_history(history, max_messages), das genau das nach einer präzisen Regel tut.
Echte Programme kürzen meistens, indem sie Tokens zählen, denn in Tokens werden das Kontextfenster und die Rechnung gemessen. Dieser Kurs zählt stattdessen Nachrichten, damit du jedes Ergebnis an den Fingern abzählen kannst. Die Idee hinter der Regel ist in beiden Fällen dieselbe.
Wie ein Verlauf aussieht
Die Regel hängt von der Form eines Verlaufs ab, deshalb hier die genaue Beschreibung. Ein Verlauf besteht aus:
einer optionalen Systemnachricht am Anfang;
dann vollständigen Runden, jeweils eine
user-Nachricht, gefolgt von einerassistant-Nachricht;optional am Ende einer
user-Nachricht, die noch keine Antwort hat. Nenne sie eine offene Frage (pending question). Sie ist das, wasnext_requesthinzufügt, wenn es eine Anfrage baut.
In den Beispielen unten ist S die Systemnachricht, U1 und A1 sind die User- und Assistant-Nachricht der ersten Runde, und P ist eine offene Frage.
Die Regel
Ein
max_messagesunter 1 löstValueErroraus. Eine Grenze von null oder weniger ist ein Fehler im aufrufenden Code, und das sofort zu melden ist besser, als etwas Seltsames zurückzugeben.Der Verlauf hat die oben beschriebene Form.
Die Systemnachricht wird, falls es eine gibt, immer behalten. Sie enthält deine Anweisungen, und würde sie wegfallen, würde sich das Modell anders verhalten.
Die neuesten Nachrichten sind geschützt: die offene Frage, falls es eine gibt, sonst die letzte Runde aus User und Assistant. Ohne sie hätte das Modell nichts zu beantworten oder nichts Aktuelles, worauf es seine Antwort stützen kann.
Solange die Liste länger als
max_messagesist und es vor den geschützten Nachrichten eine ältere Runde gibt, lass die älteste Runde weg, beide Nachrichten zusammen.Gib immer eine neue Liste zurück, auch wenn nichts weggelassen wird. Wenn die Grenze nicht eingehalten werden kann, besteht das Ergebnis aus der Systemnachricht plus den geschützten Nachrichten.
Schritt 5 lässt ganze Runden weg, weil eine halbe Runde das Modell in die Irre führt. Eine Antwort ohne ihre Frage oder eine Frage, deren Antwort weggelassen wurde, lässt den Verlauf etwas erzählen, das nie passiert ist.
So wirkt sich die Regel aus:
| Verlauf | max_messages | Ergebnis |
|---|---|---|
| S U1 A1 | 9 | S U1 A1, als neue Liste |
| S U1 A1 U2 A2 U3 A3 U4 A4 | 9 | unverändert, als neue Liste, weil genau 9 passen |
| S U1 A1 U2 A2 U3 A3 U4 A4 U5 A5 | 9 | S U2 A2 U3 A3 U4 A4 U5 A5 |
| S U1 A1 U2 A2 U3 A3 U4 A4 P | 9 | S U2 A2 U3 A3 U4 A4 P |
| U1 A1 U2 A2 U3 A3 | 4 | U2 A2 U3 A3 |
| U1 A1 U2 A2 U3 A3 P | 4 | U3 A3 P |
| S U1 A1 U2 A2 P | 2 | S P |
| S U1 A1 | 1 | S U1 A1, weil die Grenze nicht eingehalten werden kann |
| S | 3 | S |
| (leer) | 3 | (leer) |
Sieh dir die vierte Zeile an. Zehn Nachrichten sind eine zu viel, aber die Regel kann nur zwei auf einmal weglassen, deshalb hat das Ergebnis 8 Nachrichten, nicht 9. Mit einer Systemnachricht und einer offenen Frage hat die Liste immer eine gerade Länge, eine Grenze von 9 ergibt also höchstens 8 Nachrichten. Das ist so gewollt und kein Fehler.
Hier ist diese vierte Zeile als Bild. Achte auf die beiden Enden, die sich nie bewegen, und auf die älteste Runde, die als Paar verschwindet.

Baue die Funktion
Hier ist eine Möglichkeit, die Funktion aufzubauen. Jeder Kommentar steht für eine oder ein paar Zeilen Code:
def trim_history(history, max_messages):
# Raise ValueError if max_messages is below 1.
# If the first message is a system message, keep it aside; the rest are the turns.
# Protect one message if the turns end with a user message, otherwise two.
# While the total is too long and an older turn remains in front of the
# protected messages, drop the oldest turn: the first two of the turns.
# Return the system message (if any) followed by the remaining turns.
Ein Slice lässt die älteste Runde weg und baut gleichzeitig eine neue Liste, sodass die Liste des Aufrufers nie verändert wird:
turns = ["U1", "A1", "U2", "A2", "P"]
turns = turns[2:]
print(turns)
Die Gesamtzahl in der Schleifenbedingung enthält die Systemnachricht, zähle sie also mit, wenn du mit max_messages vergleichst. Und wenn history ohne Systemnachricht beginnt, gehört jede Nachricht darin zu den Runden.
Ein Verlauf kann leer sein oder nur die Systemnachricht enthalten, dann gibt es keine Runden. Prüfe, ob eine Liste Elemente hat, bevor du ihre erste oder letzte Nachricht liest.
Prüfe deine Funktion anhand der Tabelle oben, bevor du deine Arbeit prüfst. Ein paar Fälle fangen die meisten Fehler ab: die vierte Zeile, bei der das Ergebnis 8 ist und nicht 9; die zweite Zeile, die genau an der Grenze liegt und bleibt, wie sie ist; die Zeile S U1 A1 | 1, bei der die Grenze nicht eingehalten werden kann und nichts mehr weggelassen werden kann; und die letzten beiden Zeilen, bei denen der Verlauf schon passt und einer davon leer ist.
Sieh dir das Kürzen an
Führe python conversation.py aus. Die Demonstration aus Lektion 3 hat ein langes Gespräch gebaut, fünf erfundene Runden nach der Systemnachricht für den Lern-Chat, und noch eine Frage geschickt. Jetzt schickt sie dieselben Nachrichten ein zweites Mal, gekürzt mit MAX_MESSAGES, das 9 ist:
After trimming:
[pl-scripted echo] No scripted reply matches this prompt, so here is what I received.
Messages: 8
System message: You are a patient Python tutor. Answer only questions about the course notes and Python. If a question is about something else, say so and suggest a Python topic instead.
Last user message: How many messages did you get?
A note sent with a question:
Run stopped at the next function to build: note_message is built in Lesson 7.
Zwölf Nachrichten gingen hinein, und acht erreichten das Modell: die Systemnachricht, die letzten drei Runden und die offene Frage. Die Systemnachricht hat überlebt, und die Frage steht immer noch am Ende.
Ein Verlauf ist S U1 A1 U2 A2 U3 A3 P, und max_messages ist 6. Was gibt trim_history zurück?
Mit einer Systemnachricht, einer offenen Frage und max_messages 9 wird ein langer Verlauf auf 8 Nachrichten gekürzt. Warum nicht auf 9?
Aufgabe
Ersetze in conversation.py den unfertigen Rumpf von trim_history(history, max_messages), sodass er der Regel aus der Lektion folgt:
Ein
max_messagesunter 1 löstValueErroraus.Ein Verlauf besteht aus einer optionalen Systemnachricht, dann ganzen Runden aus User und Assistant, optional mit einer offenen User-Nachricht am Ende.
Die Systemnachricht wird, falls vorhanden, immer behalten.
Die neuesten Nachrichten sind geschützt: die offene Frage, falls es eine gibt, sonst die letzte Runde aus User und Assistant.
Solange die Liste länger als
max_messagesist und es vor den geschützten Nachrichten eine ältere Runde gibt, lass die älteste Runde weg, beide Nachrichten zusammen.Gib jedes Mal eine neue Liste zurück, und ändere nie die Liste, die du bekommen hast. Wenn die Grenze nicht eingehalten werden kann, gib die Systemnachricht plus die geschützten Nachrichten zurück.
Führe python conversation.py aus, um die Anzahl der Nachrichten vor und nach dem Kürzen zu sehen, und prüfe dann deine Arbeit.