0%

Als er iets misgaat · oefening

Leid quiz- en agentaanroepen via de wrapper

call_model werkt, maar nog niets in de studieassistent gebruikt het. De quiz gaat nog via de parse-hulpfunctie uit hoofdstuk 5, en de lus van de agent roept nog zelf client.chat.completions.create aan, met een eigen tokentelling. Deze les zet beide over op call_model, zodat ze de nieuwe pogingen, de grenzen aan tijd en lengte en één gedeeld budget krijgen.

Deel 1: de quiz

make_quiz uit hoofdstuk 5 vroeg de parse-hulpfunctie om een QuizSet. Die hulpfunctie deed drie dingen in één aanroep: hij stuurde een strikt JSON-schema als response_format, hij controleerde de finish reason en hij valideerde het antwoord. De nieuwe make_quiz(note_text, *, client, budget, sleep) doet dezelfde drie dingen via call_model:

request = {"model": MODEL, "messages": quiz_messages(note_text), "response_format": QUIZ_FORMAT}
response = call_model(request, client=client, sleep=sleep, max_attempts=MAX_ATTEMPTS, budget=budget)

QUIZ_FORMAT, meegeleverd bovenaan reliable.py, is precies de response_format die de parse-hulpfunctie in hoofdstuk 5, les 4 voor QuizSet stuurde, dus een live model ziet hetzelfde strikte schema. call_model verstuurt het via create, samen met elke andere sleutel. Daarna valideert make_quiz de content van het antwoord met QuizSet.model_validate_json(content) en geeft de QuizSet terug.

Afstappen van de hulpfunctie levert drie dingen op:

  • Van een antwoord dat niet door de validatie komt, zijn de tokens toch geteld, omdat call_model ze vastlegde voordat make_quiz naar de tekst keek. De hulpfunctie wierp een fout op voordat je code enig gebruik zag.

  • Een afgekapt antwoord komt binnen als ReplyCutOff, net als bij elke andere aanroep in de studieassistent, in plaats van als de LengthFinishReasonError van de hulpfunctie.

  • De nieuwe poging kan het model zijn foute antwoord laten zien. Bouw bij ValidationError het nieuwe request met retry_request(request, content, error) uit hoofdstuk 4, dat het request kopieert en het foute antwoord toevoegt als assistant-bericht en de feedback als gebruikersbericht, en stuur het nog één keer via call_model. Is dat antwoord ook ongeldig, laat de ValidationError ervan dan de aanroeper bereiken: één corrigerende nieuwe poging is de regel uit hoofdstuk 4.

Eén geval wordt niet opnieuw geprobeerd. Als de content van het antwoord None is, bij een weigering of een antwoord zonder tekst, werp je meteen ValueError("The model sent no quiz text.") op. Dat is de groep “opgeven en melden” uit les 1. Een nieuwe poging zou bovendien een assistant-bericht zonder content en zonder toolaanroepen versturen, en dat wijzen diensten af. Het tweede antwoord heeft zo’n controle niet nodig: QuizSet.model_validate_json(None) werpt zelf ValidationError op.

Deel 2: de agent

run_agent in reliable.py is de afgeronde lus uit hoofdstuk 7. Die verandert op vier plekken, en de rest blijft zoals hij is:

  1. De signatuur. max_tokens_total verdwijnt, en budget en sleep komen erbij: run_agent(question, *, client, tools, system, approve, max_steps, budget, sleep). Dit is de definitieve signatuur, die hoofdstuk 10 en 11 aanroepen.

  2. Elke stap bouwt een request en verstuurt het via call_model met MAX_ATTEMPTS:

    request = {"model": MODEL, "messages": messages, "tools": descriptions}
    

    call_once voegt max_tokens toe, en een 429 midden in een run wordt nu met sleep opnieuw geprobeerd in plaats van de run te beëindigen.

  3. call_model kan BudgetExceeded opwerpen voordat een stap is verstuurd. Vang die fout, en alleen die, af rond de aanroep, en geef {"answer": "", "stop_reason": "budget", "trace": trace, "messages": messages} terug. De geweigerde stap is nooit uitgevoerd, dus hij staat niet in de trace, en messages is wat verstuurd zou zijn.

  4. Haal de oude telling used weg. stop_reason krijgt budget["used"] en budget["limit"] waar het eerst het oude totaal en de oude limiet kreeg, zodat een antwoord dat het gedeelde budget tot zijn limiet brengt de lus nog steeds stopt met "budget".

ReplyCutOff en elke modelfout die call_model opwerpt, worden niet afgevangen: ze bereiken de aanroeper. descriptions komt nog steeds uit describe_tools(tools, AGENT_DESCRIPTIONS), en AGENT_DESCRIPTIONS in reliable.py beschrijft nu ook search_notes uit hoofdstuk 8, dat de agent van het eindproject gebruikt.

Hoofdstuk 7, les 4 beloofde deze wijziging. De telling daar hoorde bij één run en kon de limiet pas na een antwoord opmerken. Nu dekt één budget elke aanroep: een quiz, een agentrun en een chat kunnen één dictionary delen, en elke stap wordt geweigerd voordat hij wordt verstuurd als hij misschien niet past.

Voer het uit

Voer python chapter9_demo.py uit als je beide hebt geschreven. De demonstratie maakt met één budget de quiz voor notes/03-lists.md en de quiz voor give me broken json, en laat daarna de agent los op What does the note on errors say about finally? met READ_TOOLS en system=TOOLS_SYSTEM, eerst met {"limit": 20000, "used": 0} en daarna met {"limit": 1200, "used": 0}:

A quiz through call_model:
1. For scores = [90, 72, 85], what is scores[-1]?
   a) 90
   b) 72
   c) 85

2. What does scores.append(60) return?
   a) The new list
   b) None
   c) 60

3. Which line makes an independent copy of scores?
   a) backup = scores.copy()
   b) backup = scores
   c) backup = scores.append(0)

Answers: 1c, 2b, 3a
A quiz whose first reply is invalid:
1. What does len() return?
   a) The number of items
   b) The last item
   c) The first item

Answers: 1a
Budget after both quizzes: {'limit': 20000, 'used': 808}
The agent with a budget of 20000:
  stop_reason: answered, budget: {'limit': 20000, 'used': 591}
Step 1 (48 tokens)
  list_notes {} -> 140 characters
Step 2 (89 tokens)
  read_note {"note_id": "07-errors"} -> 1325 characters
Step 3 (454 tokens)
  answered
The agent with a budget of 1200:
  stop_reason: budget, budget: {'limit': 1200, 'used': 137}
Step 1 (48 tokens)
  list_notes {} -> 140 characters
Step 2 (89 tokens)
  read_note {"note_id": "07-errors"} -> 1325 characters
The study chat under rate-limit:1:
Run stopped at the next function to build: chat_turn is built in Lesson 9.

De tweede quiz kostte twee aanroepen, het ongeldige antwoord en het verbeterde, en het budget telt alle drie de quizaanroepen. Met 20000 tokens antwoordt de agent na drie stappen, zoals in hoofdstuk 7. Met 1200 stopt hij vóór stap 3. De schattingen waren 844.25 voor stap 1 en 879.25 voor stap 2, allebei binnen het budget. Na stap 2 waren er 137 tokens gebruikt en 1063 over, en het request van stap 3 bevat de hele notitie over fouten, dus de schatting daarvan was 1210.5. De stap werd geweigerd voordat hij werd verstuurd.

Het quizantwoord komt terug met content None. Wat doet make_quiz?

Met een budget van 1200 stopte de agent met "budget" vóór stap 3. Wat gebeurde er met het request van stap 3?

Opdracht

Pas in reliable.py twee functies aan.

make_quiz(note_text, *, client, budget, sleep): verstuur request = {"model": MODEL, "messages": quiz_messages(note_text), "response_format": QUIZ_FORMAT} via call_model met max_attempts=MAX_ATTEMPTS. Als de content van het antwoord None is, werp je ValueError("The model sent no quiz text.") op. Geef anders QuizSet.model_validate_json(content) terug. Verstuur bij ValidationError nog één keer retry_request(request, content, error) via call_model en geef de gevalideerde quiz daarvan terug; een tweede ValidationError bereikt de aanroeper.

run_agent: verander de signatuur in run_agent(question, *, client, tools, system, approve, max_steps, budget, sleep). Verstuur elke stap als {"model": MODEL, "messages": messages, "tools": descriptions} via call_model met max_attempts=MAX_ATTEMPTS. Als dat BudgetExceeded opwerpt, geef je {"answer": "", "stop_reason": "budget", "trace": trace, "messages": messages} terug; vang verder niets af. Geef budget["used"] en budget["limit"] aan stop_reason door in plaats van het oude totaal en de oude limiet. Laat al het andere uit hoofdstuk 7 zoals het was.

Voer python chapter9_demo.py uit om de quizzen en de agent onder één budget te zien, en controleer daarna je werk.