Een kleine agent · oefening
Schrijf elke stap op
run_agent eindigt nu om een van drie redenen, en het resultaat zegt welke. Wat er onderweg gebeurde, zegt het niet: welke tools draaiden, wat ze teruggaven en welke stap de tokens gebruikte. Als een run eindigt met "budget", is de eerste vraag waar het budget gebleven is.
Een trace
Een trace is een lijst met één item per stap, opgebouwd terwijl de lus draait en teruggegeven met het resultaat. Elk item is een dictionary:
{"step": 2, "tokens": 89, "tool_calls": [...], "results": [...]}
"step"is het stapnummer, geteld vanaf 1."tokens"is deusage.total_tokensvan dat antwoord."tool_calls"is watread_tool_callsvoor dat antwoord teruggaf: een lijst dictionaries metid,nameenarguments, of[]voor een antwoord."results"bevat decontentvan elk toolbericht, in de volgorde van de aanroepen.
Een antwoordstap heeft twee lege lijsten. Een stap die de lus stopte, noemt de aanroepen waar die om vroeg, met een lege lijst "results", omdat geen ervan is uitgevoerd. Dat is op zich al nuttig: de trace van een run die door het budget is gestopt, laat zien wat het model hierna wilde doen.
Waarom niet gewoon onderweg afdrukken?
Je zou in plaats daarvan print-aanroepen in de lus kunnen zetten. Dat zou werken in de demonstratie, en nergens anders. Een trace is data, dus de aanroeper beslist wat ermee gebeurt: afdrukken voor een mens, controleren in een test, opslaan in een bestand of de tokens optellen. De controles voor deze les lezen de trace precies zo. Een lus die afdrukt, beslist dat allemaal voor elke aanroeper, en de uitvoer ervan kun je niet testen zonder het scherm af te vangen.
De meegeleverde print_trace(trace) is zo’n aanroeper. Die drukt een regel per stap en een regel per aanroep af:
Step 2 (89 tokens)
read_note {"note_id": "07-errors"} -> 1325 characters
Een aanroep met een resultaat toont de lengte van het resultaat; een aanroep zonder resultaat toont (not run); een stap zonder aanroepen toont answered.
Bewaar de trace
In run_agent:
Start vóór de lus een nieuwe lijst:
trace = []. Maak die binnen de functie aan, zodat elke run zijn eigen lijst krijgt.Bouw na het lezen van de aanroepen het item, met
"step"op je stappenteller,"tokens"opresponse.usage.total_tokens,"tool_calls"opcallsen"results"op[], en voeg het toe aantrace. Doe dit vóór alle stopcontroles, zodat ook de stap die de lus stopt wordt vastgelegd.Voeg op de plek waar de lus de toolberichten aan
messagestoevoegt, ook decontentvan elk bericht toe aan de"results"van het item. Het item is nog steeds de dictionary die je hebt toegevoegd, dus toevoegen aanentry["results"]verandert het item intrace.Voeg
"trace": tracetoe aan elke dictionary dierun_agentteruggeeft.
Voer het uit
Voer python agent.py uit. De demonstratie drukt de traces af van de vraag over errors en van de tool-loop-run met max_steps=3:
The trace of the errors question:
Step 1 (48 tokens)
list_notes {} -> 140 characters
Step 2 (89 tokens)
read_note {"note_id": "07-errors"} -> 1325 characters
Step 3 (454 tokens)
answered
The trace of the tool-loop run with max_steps=3:
Step 1 (48 tokens)
list_notes {} -> 140 characters
Step 2 (83 tokens)
list_notes {} -> 140 characters
Step 3 (118 tokens)
list_notes {} (not run)
stop_reason: max_steps
Run stopped at the next function to build: run_calls is built in Lesson 6.
De eerste trace laat de groei uit les 4 zien: de derde stap stuurt de hele notitie van 1325 tekens mee. De tweede laat zien wat de stappenlimiet tegenhield. Stap 1 en 2 vroegen om hetzelfde en kregen dezelfde 140 tekens terug; stap 3 vroeg het opnieuw en werd niet uitgevoerd. Het model leerde na stap 1 niets nieuws, en de lus betaalde toch voor nog twee stappen. Les 7 gebruikt de trace om dat op te merken.
Een run stopt met "budget" na een antwoord dat om read_note vraagt. Wat staat er in het laatste item van de trace?
Waarom geeft run_agent een trace terug in plaats van elke stap af te drukken?
Opdracht
Laat run_agent in agent.py een trace bijhouden en die bij elke stopreden teruggeven onder "trace".
Begin elke run met een nieuwe lege lijst.
Voeg na elk antwoord
{"step": n, "tokens": response.usage.total_tokens, "tool_calls": calls, "results": []}toe, waarbijntelt vanaf 1 encallsis watread_tool_callsteruggaf.Voeg, wanneer de aanroepen worden uitgevoerd, de
contentvan elk toolbericht toe aan de"results"van dat item, in volgorde.Een antwoordstap heeft twee lege lijsten. Een stap die de lus stopte, houdt zijn aanroepen en heeft een lege
"results".
Voer python agent.py uit om met print_trace twee traces af te drukken, en controleer daarna je werk.