0%

Een kleine agent · oefening

Stop wanneer het budget op is

De stappenlimiet garandeert dat run_agent eindigt. Over wat de run kost, zegt die niets. Zes kleine stappen en zes stappen die elk drie volledige notities meesturen, tellen even zwaar, en de tweede run kan vele malen zoveel tokens gebruiken als de eerste.

Waar de tokens heen gaan

Elk antwoord meldt zijn grootte in response.usage, zoals in hoofdstuk 1: prompt_tokens voor wat er is verstuurd, completion_tokens voor wat er terugkwam en total_tokens voor beide. Een aanbieder rekent af op die getallen.

Hier is de vraag over errors nog eens, stap voor stap, zoals het gescripte model telt:

StapWat het request meestuurttotal_tokensLopend totaal
1systeembericht en vraag4848
2hetzelfde, plus het assistant-bericht en de lijst met notities89137
3hetzelfde, plus het assistant-bericht en de hele notitie over errors454591

De derde stap kost meer dan de eerste twee samen, omdat het request alles meestuurt wat het gesprek heeft verzameld. Dat is het tweede risico uit les 1: elke ronde kost meer dan de vorige, en een lange run groeit snel.

De tellingen van het gescripte model zijn een benadering. Zoals SCRIPTED_MODEL.md zegt, telt het de tekens van de berichtteksten en deelt het door vier. Een echte aanbieder telt zijn eigen tokens en rekent ook de toolbeschrijvingen mee, die het gescripte model negeert. Om de regel te leren zijn de getallen goed genoeg. De assistant-berichten die om tools vragen, hebben geen tekstinhoud, dus het gescripte model telt ze als niets.

Stop bij een budget

run_agent krijgt nog een keyword-only parameter, max_tokens_total, na max_steps. Daarbinnen:

  1. Start vóór de lus een lopend totaal: used = 0.

  2. Tel na elke aanroep de tokens van het antwoord op: used += response.usage.total_tokens.

  3. Een antwoord zonder toolaanroepen geeft nog steeds "answered" terug.

  4. Een antwoord dat om tools vraagt, wordt eerst tegen het budget gecontroleerd. Als used >= max_tokens_total, geef dan {"answer": "", "stop_reason": "budget", "messages": messages} terug.

  5. Daarna de stappenlimiet, zoals eerst.

Het budget wordt vóór de stappenlimiet gecontroleerd. Als hetzelfde antwoord beide bereikt, zegt de reden dat het geld op is, en dat is voor de aanroeper het belangrijkste om te weten.

Let op wat de controle niet kan. Hoe groot de volgende aanroep is, weet je pas als die gedaan is, dus de lus kan alleen kijken naar wat al gebruikt is. Een run kan boven het budget eindigen, omdat het antwoord dat over de grens ging al betaald is. Het totaal telt wat echt gebruikt is, inclusief dat antwoord. En net als bij de stappenlimiet wordt een antwoord dat over het budget gaat toch teruggegeven: het is al betaald, en daar was de run voor.

Hoofdstuk 9 vervangt deze telling door een budget dat alle modelaanroepen delen en dat vóór elke aanroep wordt gecontroleerd, en de tests in hoofdstuk 10 gebruiken die uiteindelijke versie van run_agent.

Voer het uit

Voer python agent.py uit. De demonstratie geeft nu max_tokens_total=2000 mee aan de eerdere runs en voegt de vraag over errors toe met max_tokens_total=100:

A budget of 100 tokens:
stop_reason: budget
The conversation has 4 messages.
Run stopped at the next function to build: run_agent returns a trace from Lesson 5.

De rekensom is de tabel hierboven. Na stap 1 is het totaal 48, onder de 100, dus de lus voert list_notes uit en gaat door. Na stap 2 is het 137, 37 boven het budget, dus de lus stopt zonder de notitie te lezen. De vier berichten zijn het systeembericht, de vraag en één ronde tools. Met een budget van 2000 komt dezelfde vraag tot een antwoord, bij 591.

max_tokens_total is 100. Na een antwoord dat om tools vraagt, is het lopende totaal precies 100. Wat doet run_agent?

Waarom kan een run eindigen met een totaal boven max_tokens_total?

Opdracht

Geef run_agent in agent.py een keyword-only parameter max_tokens_total, na max_steps.

  • Houd een lopend totaal bij, beginnend bij 0, en tel de response.usage.total_tokens van elk antwoord erbij op.

  • Een antwoord zonder toolaanroepen geeft nog steeds "answered" terug, ook als het totaal daardoor over de limiet ging.

  • Als na een antwoord dat om tools vraagt het totaal max_tokens_total heeft bereikt, geef dan {"answer": "", "stop_reason": "budget", "messages": messages} terug. Controleer dit vóór de stappenlimiet, en voer de aanroepen niet uit.

Voer python agent.py uit om te zien hoe een budget van 100 tokens de vraag over errors stopt, en controleer daarna je werk.