Tools · eindproject
Eindproject: Project: laat de assistent een notitie opzoeken
Les 2 tot en met 7 bouwden elk onderdeel van een toolronde, en de demonstratie heeft ze tot nu toe met de hand aan elkaar gelijmd. Dit project zet de ronde in één functie die de studieassistent met een vraag kan aanroepen:
client = make_client()
print(answer_with_tools("What do the notes say about copying a list?", client=client))
The lists note says that two names can refer to the same list, so a change through one shows through the other. Use scores.copy() or list(scores) for an independent copy. (03-lists)
De onderdelen die je hebt
| Stap | Je code |
|---|---|
| De tools beschrijven | TOOL_DESCRIPTIONS (les 2) |
| De aanroepen uit een antwoord lezen | read_tool_calls(response) (les 3) |
| Een tool vinden en uitvoeren | TOOLS en run_tool(call, tools) (les 4 en 6) |
| De toolaanroepen van het model vastleggen | assistant_turn(calls) (les 5) |
| Elke aanroep uitvoeren en de resultaten verpakken | tool_messages(calls, tools) (les 7) |
answer_with_tools voegt de twee requests eromheen toe en beslist wat er wordt teruggegeven.
Bouw answer_with_tools
answer_with_tools(question, *, client) in tools.py:
Begin het gesprek:
messages = [{"role": "system", "content": TOOLS_SYSTEM}, {"role": "user", "content": question}].TOOLS_SYSTEMkomt uitprompts.pyen vertelt het model dingen op te zoeken en de notitie te noemen die het gebruikte. Het gescripte model beantwoordt deze vragen op dezelfde manier met of zonder die instructies; een live model leest ze.Verstuur het:
client.chat.completions.create(model=MODEL, messages=messages, tools=TOOL_DESCRIPTIONS).Lees de aanroepen met
read_tool_calls. Zijn er geen, dan antwoordde het model meteen: geef decontentvan het antwoord terug, of""als dieNoneis.Voeg anders
assistant_turn(calls)en daarna de berichten uittool_messages(calls, TOOLS)aan het gesprek toe. Je kunt een nieuwe lijst bouwen of aanmessagestoevoegen; allebei is prima. Verstuur het opnieuw metcreate, met dezelfdemodelentools.Als dat tweede antwoord opnieuw om tools vraagt, geef je
NEEDS_MORE_LOOKUPSterug, het vaste bericht bovenaantools.py. Geef anders decontentervan terug, of""als dieNoneis.
Gebruik de client die je krijgt; bouw er geen met make_client() in de functie. Gebruik TOOLS en TOOL_DESCRIPTIONS van de module bij naam, zoals hierboven. De controles vervangen beide door eigen tools en een map met notities die je niet hebt gezien, en ze scripten de antwoorden van het model, inclusief aanroepen van tools die niet bestaan en argumenten die geen JSON zijn. Je run_tool maakt daar al foutresultaten van, dus answer_with_tools heeft geen eigen try nodig.
Waarom één ronde
Stap 5 geeft het op na één ronde tools. Een model kan meer nodig hebben: een live model kan eerst list_notes aanroepen om een id te vinden, en pas daarna om read_note vragen. answer_with_tools kan niet weten hoeveel rondes een vraag nodig heeft, dus voorlopig stopt de functie en zegt hij dat, in plaats van te gokken. Hoofdstuk 7 vervangt stap 5 door een lus die doorgaat, met eigen limieten.
Voer het uit
Voer python tools.py uit. De demonstratie stelt de studieassistent twee vragen: een die één notitie nodig heeft en een die er twee nodig heeft:
The study assistant with tools:
You: What do the notes say about copying a list?
Assistant: The lists note says that two names can refer to the same list, so a change through one shows through the other. Use scores.copy() or list(scores) for an independent copy. (03-lists)
You: Compare the notes on lists and dictionaries.
Assistant: Lists keep items in order and you reach them by position, such as scores[0]. Dictionaries map keys to values and you reach a value by its key, such as ages["Ana"]. Both are mutable, and both have a copy() method for an independent copy. (03-lists, 06-dictionaries)
De demonstratie laat het geval zien waarin alles goed gaat. Bedenk voordat je je werk controleert wat ze niet toont: een model dat antwoordt zonder om een tool te vragen, een aanroep van een tool die niet bestaat, argumenten die geen JSON zijn, en een tweede antwoord dat opnieuw om tools vraagt. Elk daarvan wordt gedekt door een van de stappen hierboven of door je run_tool. Loop je vast, vraag Monty dan om een hint over één geval zonder om de hele functie te vragen.
Probeer het live
Deze stap is optioneel. answer_with_tools leest de MODEL van de module elke keer dat de functie draait, dus een kort script kan hem naar het live model laten wijzen zonder tools.py te veranderen. Maak naast tools.py een bestand try_live.py met deze regels en voer daarna python try_live.py uit in de
import tools
tools.MODEL = "pl-live"
print(tools.answer_with_tools("What do the notes say about copying a list?", client=tools.make_client()))
Het live model schrijft zijn eigen antwoord op basis van de notitie die je programma stuurt, dus de formulering zal verschillen van die van het gescripte model, en het kan besluiten dat het meer dan één ronde nodig heeft, waarna je NEEDS_MORE_LOOKUPS krijgt. Een 403 betekent dat je account geen live toegang heeft, en een 429 dat je voorlopig de limiet hebt bereikt. Ook een lees-time-out is een normale uitkomst: een live model kan langer nadenken dan de leesgrens van deze cursus. Verwijder try_live.py als je klaar bent.
Hoe het verdergaat
De studieassistent kan nu dingen opzoeken in zijn notities en zeggen welke notitie hij gebruikte. Hoofdstuk 7 maakt van de enkele ronde een agentlus: het model vraagt, je programma voert de tools uit, en de lus gaat door tot het model antwoordt of een limiet is bereikt.
Het tweede antwoord in answer_with_tools vraagt om nog een tool. Wat doet de functie, en waarom?
Een vraag heeft geen notities nodig, en het eerste antwoord is een gewoon antwoord zonder toolaanroepen. Hoeveel requests doet answer_with_tools?
Opdracht
Vervang in tools.py de onafgemaakte body van answer_with_tools(question, *, client).
messages = [{"role": "system", "content": TOOLS_SYSTEM}, {"role": "user", "content": question}].Roep
client.chat.completions.create(model=MODEL, messages=messages, tools=TOOL_DESCRIPTIONS)aan.Als
read_tool_callsgeen aanroepen vindt, geef je de content van het antwoord terug, of""als dieNoneis.Voeg anders
assistant_turn(calls)en de berichten uittool_messages(calls, TOOLS)aan het gesprek toe, en roepcreateopnieuw aan met dezelfdemodelentools.Als dat antwoord opnieuw om tools vraagt, geef je
NEEDS_MORE_LOOKUPSterug. Geef anders de content ervan terug, of""als dieNoneis.
Gebruik de client die je krijgt en de TOOLS en TOOL_DESCRIPTIONS van de module. Doe hoogstens twee requests. Voer python tools.py uit om de studieassistent twee vragen te stellen, en controleer daarna je werk.