0%

Tools · oefening

Stuur het resultaat terug

Je programma heeft read_note uitgevoerd en heeft de tekst van 03-lists.md. Het model heeft die niet gezien. Het herinnert zich ook niets van zijn eigen toolaanroep, want zoals hoofdstuk 2 liet zien, onthoudt een model niets tussen requests. Het tweede request moet dus het hele verhaal bevatten: de vraag, de toolaanroep van het model, en het resultaat.

De twee nieuwe berichten

Het tweede request stuurt de oorspronkelijke berichten opnieuw, gevolgd door twee soorten berichten die je nog niet eerder hebt verstuurd:

messages = [
    {"role": "user", "content": "What do the notes say about copying a list?"},
    {
        "role": "assistant",
        "content": None,
        "tool_calls": [
            {"id": "call_1_1", "type": "function", "function": {"name": "read_note", "arguments": '{"note_id": "03-lists"}'}},
        ],
    },
    {"role": "tool", "tool_call_id": "call_1_1", "content": "# Lists\n\nA list is an ordered collection ..."},
]

Het assistant-bericht (assistant message) legt vast wat het model de vorige keer zei, zoals add_turn in hoofdstuk 2 de tekstantwoorden van het model vastlegde. Deze keer zei het niets in woorden, dus content is None, en waar het om vroeg, staat in tool_calls. Elke aanroep wordt teruggeschreven in het eigen formaat van de dienst: zijn id, "type": "function" en een "function" met de name en de arguments, nog steeds dezelfde JSON-string die het model stuurde. Stuur het terug zoals het kwam; dit is het eigen bericht van het model, niet iets om op te schonen.

Het toolbericht (tool message) bevat één resultaat. De rol is "tool", de content is de resultaatstring, en tool_call_id is het id van de aanroep die het beantwoordt. Aan het id ziet het model welk resultaat bij welke aanroep hoort. Met één aanroep lijkt dat een formaliteit, maar in les 7 komt een antwoord met twee aanroepen, en daar zijn de ids de enige koppeling tussen elk resultaat en zijn aanroep.

Volgorde is belangrijk. Eerst komt het assistant-bericht met de aanroepen, dan een toolbericht voor elk van die aanroepen. Een toolbericht zonder assistant-bericht ervoor, of met een id dat bij geen enkele aanroep hoort, is bij echte diensten een fout. Het gescripte model controleert dit niet. Het telt de assistant-berichten met tool_calls, dus zonder zo’n bericht vraagt het opnieuw om de tool in plaats van te antwoorden.

Het tweede request stuurt ook opnieuw tools=TOOL_DESCRIPTIONS mee. Een request bevat alles wat het model weet, en daar hoort ook bij welke tools er worden aangeboden.

Bouw de twee functies

assistant_turn(calls) krijgt de lijst die read_tool_calls teruggeeft en geeft het assistant-bericht terug:

  1. Loop over de aanroepen en bouw één dictionary per aanroep: {"id": call["id"], "type": "function", "function": {"name": call["name"], "arguments": call["arguments"]}}.

  2. Geef {"role": "assistant", "content": None, "tool_calls": [...]} terug met die dictionaries, in dezelfde volgorde als calls.

Schrijf de sleutel "content": None, ook al is de waarde leeg. Die legt vast dat het model geen tekst gaf, in dezelfde vorm die de dienst in zijn antwoord gebruikte, en de controles verwachten hem.

tool_result(call, result) krijgt één aanroepdictionary en de string die run_tool ervoor teruggaf, en geeft {"role": "tool", "tool_call_id": call["id"], "content": result} terug.

Geen van beide functies verandert de dictionaries die ze krijgt. Beide bouwen nieuwe.

Voer het uit

Voer python tools.py uit. De demonstratie neemt de aanroep van read_note en het resultaat ervan uit les 4, drukt het assistant-bericht af en stuurt dan de oorspronkelijke vraag, je assistant-bericht en je toolbericht, met dezelfde tools:

Sending the result back:
{'role': 'assistant', 'content': None, 'tool_calls': [{'id': 'call_1_1', 'type': 'function', 'function': {'name': 'read_note', 'arguments': '{"note_id": "03-lists"}'}}]}
A tool message for call_1_1 with 1226 characters of content
Answer: The lists note says that two names can refer to the same list, so a change through one shows through the other. Use scores.copy() or list(scores) for an independent copy. (03-lists)
A request for a note that does not exist:
[{'id': 'call_1_1', 'name': 'read_note', 'arguments': '{"note_id": "99-magic"}'}]
run_tool raised ValueError: There is no note called 99-magic. Call list_notes to see the ids.
Run stopped: run_tool does not check the request yet. Lesson 6 changes that.

Dat is een complete toolronde: een vraag, een toolaanroep, je programma dat de tool uitvoert, en een antwoord dat de notitie noemt. Het antwoord van het gescripte model ligt vast, zoals SCRIPTED_MODEL.md zegt: het telt de assistant-berichten met toolaanroepen in je request en geeft zijn volgende stap, zonder de notitie te lezen. Een live model zou zijn antwoord schrijven op basis van de tekst van de notitie, en daarom moet het resultaat überhaupt terug.

De laatste regels tonen het volgende probleem. De demonstratie vroeg What does the note 99-magic say?, het model vroeg om een notitie die niet bestaat, en de ValueError uit read_note stopte het hele programma. Het model, dat iets anders had kunnen proberen, hoorde er nooit van.

Waarom bevat het tweede request het assistant-bericht met tool_calls, en niet alleen de vraag en het toolbericht?

Een toolbericht heeft "tool_call_id": "call_1_1". Waarvoor dient het id?

Opdracht

Vervang in tools.py de onafgemaakte bodies van twee functies.

  • assistant_turn(calls) geeft {"role": "assistant", "content": None, "tool_calls": [...]} terug, met één item per aanroep in calls, in dezelfde volgorde: {"id": call["id"], "type": "function", "function": {"name": call["name"], "arguments": call["arguments"]}}.

  • tool_result(call, result) geeft {"role": "tool", "tool_call_id": call["id"], "content": result} terug.

Geef de argumentenstring ongewijzigd door en verander de dictionaries die je krijgt niet. Voer python tools.py uit om een hele toolronde in een antwoord te zien eindigen, en controleer daarna je werk.