Een kleine agent · oefening
Schrijf de lus
De lus uit les 1 heeft drie dingen nodig van de aanroeper: de vraag, de tools die het model mag gebruiken en de instructies in het systeembericht. In deze les bouw je haar als run_agent.
Welke tools, en hun beschrijvingen
In hoofdstuk 6 gebruikte answer_with_tools de TOOLS en TOOL_DESCRIPTIONS van de module, dus bood het altijd dezelfde twee tools aan. Een agent hoort niet standaard elke tool te krijgen: een agent die vragen beantwoordt, heeft niets te zoeken in het schrijven van bestanden. Daarom krijgt run_agent tools als parameter: één dictionary van namen naar functies, zoals TOOLS. Bovenaan agent.py staan er twee die de runs gebruiken:
READ_TOOLS = {"list_notes": list_notes, "read_note": read_note}
AGENT_TOOLS = {"list_notes": list_notes, "read_note": read_note, "save_flashcard": save_flashcard}
Het request heeft voor elk van die tools een beschrijving nodig, en alleen voor die tools. De beschrijvingen staan in één lijst, AGENT_DESCRIPTIONS: TOOL_DESCRIPTIONS uit hoofdstuk 6 plus SAVE_FLASHCARD_DESCRIPTION. De meegeleverde describe_tools kiest de beschrijvingen die je nodig hebt:
def describe_tools(tools, descriptions):
"""Return the descriptions of the tools in tools, in the order of descriptions."""
names = []
for description in descriptions:
names.append(description["function"]["name"])
for name in tools:
if name not in names:
raise ValueError(f"There is no description for the tool {name}.")
chosen = []
for description in descriptions:
if description["function"]["name"] in tools:
chosen.append(description)
return chosen
describe_tools(READ_TOOLS, AGENT_DESCRIPTIONS) geeft de beschrijvingen van list_notes en read_note terug en laat save_flashcard weg. Een tool zonder beschrijving is een fout in het programma, niet iets wat het model deed, dus geeft de functie dan een exception in plaats van de tool stilletjes weg te laten. De aanroeper kiest de tools, en de beschrijvingen volgen uit die keuze.
Bouw run_agent
run_agent(question, *, client, tools, system):
Begin het gesprek:
messages = [{"role": "system", "content": system}, {"role": "user", "content": question}].Haal de beschrijvingen één keer op:
descriptions = describe_tools(tools, AGENT_DESCRIPTIONS).Maak een lus met
while True:. In elke doorgang:Stuur het gesprek:
response = client.chat.completions.create(model=MODEL, messages=messages, tools=descriptions).Lees de aanroepen met
calls = read_tool_calls(response).Als er geen zijn, is dit het antwoord. Neem de
contentvan het antwoord, of""als dieNoneis, voeg{"role": "assistant", "content": answer}toe aanmessagesen geef{"answer": answer, "stop_reason": "answered", "messages": messages}terug.Voeg anders
assistant_turn(calls)toe aanmessages, en daarna elk bericht uittool_messages(calls, tools), in volgorde.
De return binnen de lus is wat haar beëindigt. Een while True:-lus heeft geen voorwaarde die onwaar kan worden, dus een return (of een exception) is de enige uitweg.
Gebruik de tools en system die je krijgt. De controles geven hun eigen tools en hun eigen systeemtekst mee, en ze scripten de antwoorden van het model, inclusief twee aanroepen in één antwoord en drie rondes tools vóór een antwoord.
Waarom de functie een dictionary teruggeeft
run_agent zou alleen de antwoordtekst kunnen teruggeven, zoals answer_with_tools deed. De functie geeft in plaats daarvan een dictionary terug, omdat een aanroeper meer nodig heeft dan de tekst:
"answer"is het antwoord dat de gebruiker ziet."stop_reason"zegt waarom de lus eindigde. Voorlopig is er maar één manier om te eindigen,"answered". De volgende lessen voegen er meer toe, en dan betekent een leeg antwoord iets anders afhankelijk van de reden."messages"is het hele gesprek, inclusief het eindantwoord. Een aanroeper die een vervolgvraag wil stellen, kan er een gebruikersbericht aan toevoegen en verdergaan, zoals de chat uit hoofdstuk 2 deed met zijn geschiedenis.
Latere lessen voegen sleutels toe aan dezelfde dictionary zonder te veranderen wat de eerste drie betekenen.
De systeemtekst is om een vergelijkbare reden een parameter. De runs in dit hoofdstuk geven TOOLS_SYSTEM mee, die het model vraagt dingen op te zoeken en de gebruikte notitie te noemen. Een andere taak vraagt om andere instructies: de studieassistent die je in hoofdstuk 11 afmaakt, voert dezelfde lus uit met een systeembericht dat om een antwoord met bronvermeldingen vraagt.
Voer het uit
Voer python agent.py uit. De demonstratie roept je run_agent aan met de vraag over errors, READ_TOOLS en system=TOOLS_SYSTEM:
The agent loop:
stop_reason: answered
answer: The errors note says that a finally block always runs, whether or not an exception was raised. An else block, by contrast, runs only when nothing was raised. (07-errors)
The conversation has 7 messages.
Run stopped at the next function to build: run_agent gets its max_steps parameter in Lesson 3.
De lus deed de drie requests uit de tabel van les 1. De zeven berichten zijn het systeembericht, de vraag, twee assistant-berichten met hun toolresultaten en het eindantwoord.
Deze lus vertrouwt het model volledig: ze gaat door zolang het model blijft vragen. Het gescripte model stopt voor deze vraag na twee rondes. De volgende les laat een model zien dat nooit stopt.
run_agent wordt aangeroepen met tools=READ_TOOLS. Waarom laat het request de beschrijving van save_flashcard weg, die wel in AGENT_DESCRIPTIONS staat?
run_agent maakt een lus met while True:. Hoe eindigt die ooit?
Opdracht
Vervang in agent.py de onafgemaakte body van run_agent(question, *, client, tools, system).
Begin met
messages = [{"role": "system", "content": system}, {"role": "user", "content": question}]endescriptions = describe_tools(tools, AGENT_DESCRIPTIONS).Roep in een
while True:-lusclient.chat.completions.create(model=MODEL, messages=messages, tools=descriptions)aan en lees de aanroepen metread_tool_calls.Voeg zonder aanroepen
{"role": "assistant", "content": answer}toe aanmessages, waarbijanswerde content van het antwoord is of""als dieNoneis, en geef{"answer": answer, "stop_reason": "answered", "messages": messages}terug.Voeg anders
assistant_turn(calls)en elk bericht uittool_messages(calls, tools)toe aanmessagesen ga nog een ronde.
Gebruik de tools en system die je krijgt. Voer python agent.py uit om de agent de vraag over errors te zien beantwoorden, en controleer daarna je werk.