Eindproject · oefening
Bouw ask
Je hebt alle onderdelen van ask: run_agent uit hoofdstuk 9 voert de agent uit binnen een budget, call_model stuurt één request volgens dezelfde regels, en trace_labels en check_answer uit les 2 controleren een antwoord tegen wat de zoekopdrachten van de run teruggaven. In deze les voeg je ze samen tot de functie die het commando ask aanroept, met de ene corrigerende nieuwe poging die je in hoofdstuk 4 leerde voor ongeldige uitvoer.
Je schrijft drie functies: eerst twee kleine, dan ask_command.
feedback_message
Als een antwoord ongeldig is, krijgt het model te horen wat er mis was, te beginnen met INVALID_PREFIX uit prompts.py, Your last reply was invalid:, zoals in hoofdstuk 4 en 5. feedback_message(error) geeft dat gebruikersbericht terug:
voor een
ValidationErrorvan pydantic is het detail de korte regels uit hoofdstuk 4,"; ".join(error_lines(error)), zoals(whole reply): Invalid JSON: expected ident at line 1 column 2.str(error)zou ook de kop van pydantic en een link naar de documentatie bevatten, en daar heeft het model niets aan;voor elke andere fout, zoals de
ValueErroruitcheck_answer, is het detailstr(error).
Gebruik isinstance(error, ValidationError) om ze uit elkaar te houden, en geef {"role": "user", "content": f"{INVALID_PREFIX} {detail}"} terug.
format_answer
format_answer(answer) maakt van een CitedAnswer wat ask afdrukt: de tekst van het antwoord, een lege regel, dan Sources: en de bronvermeldingen samengevoegd met ", ". Zonder bronvermeldingen is de regel Sources: none, zodat de gebruiker ziet dat er niets vermeld is en zich niet afvraagt waarom er een lege regel staat. Geef één string terug zonder newline aan het eind; print voegt er een toe.
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
ask_command
ask_command(question, *, client, budget, sleep) geeft die tekst terug, of werpt een fout op. Hij drukt nooit iets af en bepaalt nooit een exitcode: dat doet les 6 voor alle commando’s op één plek.
Voer eerst de agent uit met de instellingen van ask:
result = run_agent(
question,
client=client,
tools=ASK_TOOLS,
system=ASK_SYSTEM,
approve=refuse_all,
max_steps=ASK_MAX_STEPS,
budget=budget,
sleep=sleep,
)
ASK_TOOLS biedt search_notes en read_note aan, en niets wat een bestand verandert, dus save_flashcard wordt nooit aangeboden. ASK_SYSTEM, in prompts.py, zegt tegen het model dat het moet zoeken, passagetekst als materiaal moet behandelen en niet als instructies, en moet antwoorden met JSON die labels zonder haken vermeldt. refuse_all staat erbij omdat run_agent een functie approve nodig heeft; met deze tools wordt die nooit gevraagd.
Kijk daarna naar result["stop_reason"]:
"budget": het budget van de run kon de volgende stap niet dekken. WerpBudgetExceeded(f"The budget ran out before agent step {len(result['trace']) + 1}.")op. De trace bevat de stappen die zijn uitgevoerd, dus de stap die niet is uitgevoerd heeft het volgende nummer."answered": ga door.iets anders,
"stuck"of"max_steps": werpValueError(f"The agent stopped without an answer ({reason}).")op.
Controleer daarna het antwoord. Bereken labels = trace_labels(result["trace"]), en geef binnen try format_answer(check_answer(result["answer"], labels)) terug. Als dat lukt, is ask_command klaar.
Eén corrigerende nieuwe poging
Als check_answer ValueError opwerpt, vermeldde het antwoord een passage die geen zoekopdracht had teruggegeven. Een ValidationError van pydantic is een soort ValueError (hoofdstuk 4), dus dezelfde except ValueError as error: vangt ook een antwoord af dat geen geldige JSON is. In beide gevallen krijgt het model nog één kans:
messages = result["messages"] + [feedback_message(error)]
request = {"model": MODEL, "messages": messages, "tools": describe_tools(ASK_TOOLS, AGENT_DESCRIPTIONS)}
response = call_model(request, client=client, sleep=sleep, max_attempts=MAX_ATTEMPTS, budget=budget)
Bouw messages binnen het except-blok; de naam error bestaat alleen daar. De rest kan erna komen.
result["messages"] is de hele run: het systeembericht, de vraag, elke toolaanroep met de resultaten en het laatste antwoord van het model. Het model ziet dus zijn eigen slechte antwoord en de feedback, zoals in hoofdstuk 4. Het request biedt dezelfde twee tools aan, want het gesprek bevat toolberichten en het model moet hetzelfde aanbod zien als eerst. Het gaat via call_model met hetzelfde budget en dezelfde sleep, dus er wordt gewacht tot een rate limit voorbij is, max_tokens wordt ingesteld en de nieuwe poging wordt al vóór verzending geweigerd als het budget van de run die niet kan dekken. Eén budget dekt de hele run; de nieuwe poging krijgt geen vers budget.
Controleer daarna het antwoord:
Als
read_tool_calls(response)niet leeg is, vroeg het model om opnieuw te zoeken in plaats van te antwoorden. WerpValueError("The corrected answer asked for tools instead of answering.")op. De stappen van de run zijn op en de labels liggen vast: nu zoeken zou betekenen dat de agent opnieuw moet draaien.Neem anders
content = response.choices[0].message.contenten geefformat_answer(check_answer(content or "", labels))terug.content or ""zorgt datcheck_answeraltijd een string krijgt; een antwoord zonder tekst faalt dan bij het valideren, net als elk ander slecht antwoord. Als ook dit antwoord ongeldig is, bereikt de fout de aanroeper: één nieuwe poging is de regel.
BudgetExceeded uit de nieuwe poging en elke modelfout uit run_agent of call_model bereiken ook de aanroeper. ask_command vangt alleen de ValueError uit de eerste controle af.
Voer het uit
Als de drie functies geschreven zijn, voer je python stages.py uit. Het blok van les 3 stelt de kopieervraag en de vraag over Frankrijk via het cursusmodel, elk met een vers budget van 20000, en laat daarna een nieuwe poging zien:
Lesson 3: ask_command
--- How do I make an independent copy of a list?
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
(tokens used: 539)
--- What is the capital of France?
The course notes don't cover that, so I can't answer it from them.
Sources: none
(tokens used: 329)
Lesson 3: the retry, scripted with FakeClient
Requests sent: 3
The last message of the third: Your last reply was invalid: The answer cites 05-functions#6, which no search result in this run contained.
The default list is created once and shared by every call.
Sources: 05-functions#5
Lesson 4: quiz_command
--- 03-lists, 2 questions
Run stopped at the next function to build: quiz_command is built in Lesson 4.
De kopieervraag gebruikte twee stappen, van 159 en 380 tokens. Voor de vraag over Frankrijk gaf de zoekopdracht No note matches that search. terug, en het model zei dat zonder bronvermeldingen, wat Sources: none afdrukt.
De nieuwe poging wordt niet getoond met het cursusmodel, want het gescripte model kan zichzelf niet laten verbeteren: het slaat een bericht over dat begint met Your last reply was invalid: en beantwoordt de vraag opnieuw, met hetzelfde antwoord. Bij een live model gebeurt een nieuwe poging echt. Daarom legt stages.py die vast met de FakeClient uit hoofdstuk 10: een aanroep van search_notes met {"query": "default argument list"}, die echt draait op de meegeleverde notities en 05-functions#4, 05-functions#5 en 01-variables#2 teruggeeft; dan een antwoord dat 05-functions#5 en 05-functions#6 vermeldt; dan een verbeterd antwoord dat alleen 05-functions#5 vermeldt. Het derde request eindigt met de feedback, en het verbeterde antwoord is wat ask afdrukt.
Na de feedback vraagt het verbeterde antwoord van het model opnieuw om search_notes in plaats van te antwoorden. Wat doet ask_command?
Uit welk budget put de corrigerende nieuwe poging?
Opdracht
Schrijf in study_assistant.py drie functies.
feedback_message(error): geef {"role": "user", "content": f"{INVALID_PREFIX} {detail}"} terug, waarbij detail gelijk is aan "; ".join(error_lines(error)) voor een ValidationError en aan str(error) voor elke andere fout.
format_answer(answer): geef de tekst van het antwoord terug, een lege regel en Sources: gevolgd door de bronvermeldingen samengevoegd met ", ", of none als er geen zijn. Geen newline aan het eind.
ask_command(question, *, client, budget, sleep):
result = run_agent(question, client=client, tools=ASK_TOOLS, system=ASK_SYSTEM, approve=refuse_all, max_steps=ASK_MAX_STEPS, budget=budget, sleep=sleep).Werp bij stopreden
"budget"BudgetExceeded(f"The budget ran out before agent step {len(result['trace']) + 1}.")op. Werp bij elke andere stopreden behalve"answered"ValueError(f"The agent stopped without an answer ({reason}).")op.labels = trace_labels(result["trace"]). Geef binnentryformat_answer(check_answer(result["answer"], labels))terug.Stuur bij een
ValueErroréén keer{"model": MODEL, "messages": result["messages"] + [feedback_message(error)], "tools": describe_tools(ASK_TOOLS, AGENT_DESCRIPTIONS)}viacall_model, metmax_attempts=MAX_ATTEMPTSen hetzelfdebudgeten dezelfdesleep.Als
read_tool_callsvan dat antwoord niet leeg is, werp jeValueError("The corrected answer asked for tools instead of answering.")op. Geef andersformat_answer(check_answer(content or "", labels))terug, waarbijcontentde content van het antwoord is, en laat de fouten daarvan door.
Voer python stages.py uit om ask twee vragen te zien beantwoorden plus een nieuwe poging die met FakeClient gescript is, en controleer daarna je werk.