Tools · oefening
Meerdere toolaanroepen in één antwoord
Sommige vragen hebben meer dan één tool nodig. De demonstratie van les 6 eindigde met zo’n vraag: Compare the notes on lists and dictionaries. Het model vroeg in één antwoord om twee notities, met twee aanroepen in tool_calls. Dit heet vaak parallelle toolaanroepen (parallel tool calls): het model vraagt om meerdere tools tegelijk in plaats van één per ronde, wat voor elke extra tool een heel request en antwoord bespaart.
Eén assistant-bericht, één resultaat per aanroep
De aanroepen uit de demonstratie van les 6 waren:
[
{"id": "call_1_1", "name": "read_note", "arguments": '{"note_id": "03-lists"}'},
{"id": "call_1_2", "name": "read_note", "arguments": '{"note_id": "06-dictionaries"}'},
]
Het tweede request bevat één assistant-bericht met beide aanroepen, dat je assistant_turn al uit de hele lijst bouwt, gevolgd door één toolbericht per aanroep:
[
{"role": "assistant", "content": None, "tool_calls": [...both calls...]},
{"role": "tool", "tool_call_id": "call_1_1", "content": "# Lists\n\n..."},
{"role": "tool", "tool_call_id": "call_1_2", "content": "# Dictionaries\n\n..."},
]
Elke aanroep heeft zijn resultaat nodig. Een model dat om twee dingen vroeg en maar over één iets terughoorde, kan niet weten wat er met het andere is gebeurd, en echte diensten weigeren een request waarin een aanroep geen toolbericht heeft. De ids vertellen het model welk resultaat welk is, dus ze moeten overeenkomen. Houd de resultaten ook in de volgorde van de aanroepen: dat kost niets en maakt het gesprek makkelijk leesbaar.
“Parallel” beschrijft het request, niet je programma. Je programma kan de aanroepen in een lus na elkaar uitvoeren, en hier doet het dat ook.
Eén slechte aanroep houdt de andere niet tegen
Sinds les 6 geeft run_tool een foutstring terug voor een slechte aanroep in plaats van een exception op te werpen. Bij meerdere aanroepen is dat nog belangrijker. Als het model tegelijk om 03-lists en 99-magic vroeg, is het eerste resultaat de notitie en het tweede Error: There is no note called 99-magic. .... Beide gaan terug, en het model krijgt nog steeds de notitie die het kon krijgen. Een run_tool die een exception opwierp, zou beide kwijtraken.
Bouw tool_messages
tool_messages(calls, tools) voert elke aanroep uit en geeft de toolberichten terug:
Begin met een lege lijst.
Loop over
calls. Haal voor elke aanroep het resultaat op metrun_tool(call, tools)en voegtool_result(call, result)toe.Geef de lijst terug.
Gebruik je eigen run_tool en tool_result; samen handelen ze al één aanroep af, dus tool_messages heeft alleen de lus nodig. Geef tools door, zoals run_tool doet.
Voer het uit
Voer python tools.py uit. De demonstratie voert de twee aanroepen uit met je tool_messages, drukt van elk resultaat het id en de lengte af, en stuurt daarna het assistant-bericht en beide resultaten terug:
Two calls in one reply:
[{'id': 'call_1_1', 'name': 'read_note', 'arguments': '{"note_id": "03-lists"}'}, {'id': 'call_1_2', 'name': 'read_note', 'arguments': '{"note_id": "06-dictionaries"}'}]
call_1_1: 1226 characters
call_1_2: 1197 characters
Answer: Lists keep items in order and you reach them by position, such as scores[0]. Dictionaries map keys to values and you reach a value by its key, such as ages["Ana"]. Both are mutable, and both have a copy() method for an independent copy. (03-lists, 06-dictionaries)
The study assistant with tools:
You: What do the notes say about copying a list?
Run stopped at the next function to build: answer_with_tools is built in Lesson 8.
Het antwoord noemt beide notities. Twee aanroepen, twee resultaten, één request extra.
Een antwoord vraagt om twee tools. Hoeveel berichten voegt je programma aan het gesprek toe voor het volgende request?
Het model vraagt in één antwoord om 03-lists en 99-magic. Wat moet tool_messages teruggeven?
Opdracht
Vervang in tools.py de onafgemaakte body van tool_messages(calls, tools).
Loop over
calls, op volgorde.Haal voor elke aanroep het resultaat op met
run_tool(call, tools)en voegtool_result(call, result)toe aan een nieuwe lijst.Geef de lijst terug: één toolbericht per aanroep, in de volgorde van de aanroepen.
Een aanroep die mislukt, krijgt toch zijn foutresultaat, en de aanroepen erna draaien nog steeds. Voer python tools.py uit om twee notities in één ronde beantwoord te zien, en controleer daarna je werk.