Ein kleiner Agent · Übung
Jeden Schritt festhalten
run_agent endet jetzt aus einem von drei Gründen, und das Ergebnis sagt, aus welchem. Es sagt nicht, was unterwegs passiert ist: welche Tools liefen, was sie zurückgaben und welcher Schritt die Tokens verbraucht hat. Wenn ein Lauf mit "budget" endet, lautet die erste Frage, wo das Budget geblieben ist.
Ein Trace
Ein Trace ist eine Liste mit einem Eintrag pro Schritt, die während der Schleife aufgebaut und mit dem Ergebnis zurückgegeben wird. Jeder Eintrag ist ein Dictionary:
{"step": 2, "tokens": 89, "tool_calls": [...], "results": [...]}
"step"ist die Nummer des Schritts, gezählt ab 1."tokens"istusage.total_tokensdieser Antwort."tool_calls"ist das, wasread_tool_callsfür diese Antwort zurückgegeben hat: eine Liste von Dictionaries mitid,nameundarguments, oder[]bei einer eigentlichen Antwort."results"enthält dencontentjeder Tool-Nachricht, in der Reihenfolge der Aufrufe.
Ein Antwortschritt hat zwei leere Listen. Ein Schritt, der die Schleife gestoppt hat, führt die angeforderten Aufrufe auf, mit einer leeren Liste "results", weil keiner davon lief. Das ist an sich schon nützlich: Der Trace eines Laufs, den sein Budget gestoppt hat, zeigt, was das Modell als Nächstes tun wollte.
Warum nicht einfach unterwegs ausgeben?
Du könntest stattdessen print-Aufrufe in die Schleife setzen. Das würde in der Demonstration funktionieren und nirgendwo sonst. Ein Trace sind Daten, also entscheidet der Aufrufer, was er damit macht: ihn für einen Menschen ausgeben, ihn in einem Test prüfen, ihn in einer Datei speichern oder seine Tokens zusammenzählen. Die Prüfungen dieser Lektion lesen den Trace genau so. Eine Schleife, die selbst ausgibt, entscheidet all das für jeden Aufrufer, und ihre Ausgabe lässt sich nicht testen, ohne den Bildschirm abzugreifen.
Das mitgelieferte print_trace(trace) ist ein solcher Aufrufer. Es gibt eine Zeile pro Schritt und eine Zeile pro Aufruf aus:
Step 2 (89 tokens)
read_note {"note_id": "07-errors"} -> 1325 characters
Ein Aufruf mit Ergebnis zeigt die Länge des Ergebnisses; ein Aufruf ohne Ergebnis zeigt (not run); ein Schritt ohne Aufrufe zeigt answered.
Führe den Trace
In run_agent:
Beginne vor der Schleife eine neue Liste:
trace = []. Erzeuge sie innerhalb der Funktion, damit jeder Lauf seine eigene bekommt.Baue nach dem Lesen der Aufrufe den Eintrag, mit
"step"gleich deinem Schrittzähler,"tokens"gleichresponse.usage.total_tokens,"tool_calls"gleichcallsund"results"gleich[], und hänge ihn antracean. Tu das vor allen Stopp-Prüfungen, damit auch der Schritt erfasst wird, der die Schleife stoppt.Dort, wo die Schleife die Tool-Nachrichten zu
messageshinzufügt, hänge auch dencontentjeder Nachricht an"results"des Eintrags an. Der Eintrag ist immer noch das Dictionary, das du angehängt hast, also verändert ein Anhängen anentry["results"]das Dictionary intrace.Füge
"trace": tracezu jedem Dictionary hinzu, dasrun_agentzurückgibt.
Ausführen
Führe python agent.py aus. Die Demonstration gibt die Traces der Frage zu Fehlern und des tool-loop-Laufs mit max_steps=3 aus:
The trace of the errors question:
Step 1 (48 tokens)
list_notes {} -> 140 characters
Step 2 (89 tokens)
read_note {"note_id": "07-errors"} -> 1325 characters
Step 3 (454 tokens)
answered
The trace of the tool-loop run with max_steps=3:
Step 1 (48 tokens)
list_notes {} -> 140 characters
Step 2 (83 tokens)
list_notes {} -> 140 characters
Step 3 (118 tokens)
list_notes {} (not run)
stop_reason: max_steps
Run stopped at the next function to build: run_calls is built in Lesson 6.
Der erste Trace zeigt das Wachstum aus Lektion 4: Der dritte Schritt trägt die ganze Notiz mit 1325 Zeichen mit sich. Der zweite zeigt, was das Schrittlimit gestoppt hat. Die Schritte 1 und 2 haben dasselbe angefordert und dieselben 140 Zeichen zurückbekommen; Schritt 3 hat es erneut angefordert und wurde nicht ausgeführt. Nach Schritt 1 hat das Modell nichts Neues erfahren, und die Schleife hat trotzdem zwei weitere Schritte bezahlt. Lektion 7 nutzt den Trace, um das zu bemerken.
Ein Lauf stoppt mit "budget" nach einer Antwort, die read_note anfordert. Was enthält der letzte Eintrag im Trace?
Warum gibt run_agent einen Trace zurück, statt jeden Schritt auszugeben?
Aufgabe
Lass run_agent in agent.py einen Trace führen und ihn bei jedem Stoppgrund unter "trace" zurückgeben.
Beginne jeden Lauf mit einer neuen leeren Liste.
Hänge nach jeder Antwort
{"step": n, "tokens": response.usage.total_tokens, "tool_calls": calls, "results": []}an, wobeinab 1 zählt undcallsdas ist, wasread_tool_callszurückgegeben hat.Wenn die Aufrufe laufen, füge den
contentjeder Tool-Nachricht der Reihe nach zu"results"dieses Eintrags hinzu.Ein Antwortschritt hat zwei leere Listen. Ein Schritt, der die Schleife gestoppt hat, behält seine Aufrufe und hat leere
"results".
Führe python agent.py aus, um mit print_trace zwei Traces auszugeben, und prüfe dann deine Arbeit.