0%

Een kleine agent · oefening

Schrijf elke stap op

run_agent eindigt nu om een van drie redenen, en het resultaat zegt welke. Wat er onderweg gebeurde, zegt het niet: welke tools draaiden, wat ze teruggaven en welke stap de tokens gebruikte. Als een run eindigt met "budget", is de eerste vraag waar het budget gebleven is.

Een trace

Een trace is een lijst met één item per stap, opgebouwd terwijl de lus draait en teruggegeven met het resultaat. Elk item is een dictionary:

{"step": 2, "tokens": 89, "tool_calls": [...], "results": [...]}
  • "step" is het stapnummer, geteld vanaf 1.

  • "tokens" is de usage.total_tokens van dat antwoord.

  • "tool_calls" is wat read_tool_calls voor dat antwoord teruggaf: een lijst dictionaries met id, name en arguments, of [] voor een antwoord.

  • "results" bevat de content van elk toolbericht, in de volgorde van de aanroepen.

Een antwoordstap heeft twee lege lijsten. Een stap die de lus stopte, noemt de aanroepen waar die om vroeg, met een lege lijst "results", omdat geen ervan is uitgevoerd. Dat is op zich al nuttig: de trace van een run die door het budget is gestopt, laat zien wat het model hierna wilde doen.

Waarom niet gewoon onderweg afdrukken?

Je zou in plaats daarvan print-aanroepen in de lus kunnen zetten. Dat zou werken in de demonstratie, en nergens anders. Een trace is data, dus de aanroeper beslist wat ermee gebeurt: afdrukken voor een mens, controleren in een test, opslaan in een bestand of de tokens optellen. De controles voor deze les lezen de trace precies zo. Een lus die afdrukt, beslist dat allemaal voor elke aanroeper, en de uitvoer ervan kun je niet testen zonder het scherm af te vangen.

De meegeleverde print_trace(trace) is zo’n aanroeper. Die drukt een regel per stap en een regel per aanroep af:

Step 2 (89 tokens)
  read_note {"note_id": "07-errors"} -> 1325 characters

Een aanroep met een resultaat toont de lengte van het resultaat; een aanroep zonder resultaat toont (not run); een stap zonder aanroepen toont answered.

Bewaar de trace

In run_agent:

  1. Start vóór de lus een nieuwe lijst: trace = []. Maak die binnen de functie aan, zodat elke run zijn eigen lijst krijgt.

  2. Bouw na het lezen van de aanroepen het item, met "step" op je stappenteller, "tokens" op response.usage.total_tokens, "tool_calls" op calls en "results" op [], en voeg het toe aan trace. Doe dit vóór alle stopcontroles, zodat ook de stap die de lus stopt wordt vastgelegd.

  3. Voeg op de plek waar de lus de toolberichten aan messages toevoegt, ook de content van elk bericht toe aan de "results" van het item. Het item is nog steeds de dictionary die je hebt toegevoegd, dus toevoegen aan entry["results"] verandert het item in trace.

  4. Voeg "trace": trace toe aan elke dictionary die run_agent teruggeeft.

Voer het uit

Voer python agent.py uit. De demonstratie drukt de traces af van de vraag over errors en van de tool-loop-run met max_steps=3:

The trace of the errors question:
Step 1 (48 tokens)
  list_notes {} -> 140 characters
Step 2 (89 tokens)
  read_note {"note_id": "07-errors"} -> 1325 characters
Step 3 (454 tokens)
  answered
The trace of the tool-loop run with max_steps=3:
Step 1 (48 tokens)
  list_notes {} -> 140 characters
Step 2 (83 tokens)
  list_notes {} -> 140 characters
Step 3 (118 tokens)
  list_notes {} (not run)
stop_reason: max_steps
Run stopped at the next function to build: run_calls is built in Lesson 6.

De eerste trace laat de groei uit les 4 zien: de derde stap stuurt de hele notitie van 1325 tekens mee. De tweede laat zien wat de stappenlimiet tegenhield. Stap 1 en 2 vroegen om hetzelfde en kregen dezelfde 140 tekens terug; stap 3 vroeg het opnieuw en werd niet uitgevoerd. Het model leerde na stap 1 niets nieuws, en de lus betaalde toch voor nog twee stappen. Les 7 gebruikt de trace om dat op te merken.

Een run stopt met "budget" na een antwoord dat om read_note vraagt. Wat staat er in het laatste item van de trace?

Waarom geeft run_agent een trace terug in plaats van elke stap af te drukken?

Opdracht

Laat run_agent in agent.py een trace bijhouden en die bij elke stopreden teruggeven onder "trace".

  • Begin elke run met een nieuwe lege lijst.

  • Voeg na elk antwoord {"step": n, "tokens": response.usage.total_tokens, "tool_calls": calls, "results": []} toe, waarbij n telt vanaf 1 en calls is wat read_tool_calls teruggaf.

  • Voeg, wanneer de aanroepen worden uitgevoerd, de content van elk toolbericht toe aan de "results" van dat item, in volgorde.

  • Een antwoordstap heeft twee lege lijsten. Een stap die de lus stopte, houdt zijn aanroepen en heeft een lege "results".

Voer python agent.py uit om met print_trace twee traces af te drukken, en controleer daarna je werk.