Een kleine agent · oefening
Vraag het voordat je iets verandert
Tot nu toe lezen de tools van de agent alleen. Een verkeerde aanroep van read_note kost een paar tokens en verder niets. Deze les geeft de agent een tool die een bestand schrijft, en laat het programma een mens om toestemming vragen voordat die draait.
Een tool die iets verandert
Bovenaan agent.py staat de derde tool, save_flashcard, met zijn hulpfunctie:
def card_name_ok(name):
"""Return True when name has 1 to 40 characters, all from CARD_NAME_CHARACTERS."""
if len(name) < 1 or len(name) > 40:
return False
for character in name:
if character not in CARD_NAME_CHARACTERS:
return False
return True
def save_flashcard(arguments):
"""Tool: save a card as flashcards/<name>.md. It writes a file, so it needs approval."""
name = arguments.get("name")
front = arguments.get("front")
back = arguments.get("back")
if not isinstance(name, str) or not card_name_ok(name):
raise ValueError(
"save_flashcard needs a name made of lowercase letters, digits and hyphens, such as list-copying."
)
if not isinstance(front, str) or not isinstance(back, str):
raise ValueError("save_flashcard needs front and back strings.")
FLASHCARDS_DIR.mkdir(exist_ok=True)
with open(FLASHCARDS_DIR / f"{name}.md", "w", encoding="utf-8") as handle:
handle.write(f"Q: {front}\nA: {back}\n")
return f"Saved flashcards/{name}.md."
Het model kiest alle drie de argumenten, ook de bestandsnaam. Een naam wordt aan een map vastgeplakt tot een pad, en een naam als ../notes/01-variables zou uit flashcards klimmen en een van de cursusnotities overschrijven. Daarom accepteert card_name_ok alleen kleine letters, cijfers en koppeltekens (CARD_NAME_CHARACTERS), en weigert save_flashcard elke andere naam met een ValueError voordat het een pad bouwt. Een punt of een slash komt er niet door. De ValueError bereikt het model als foutresultaat, via run_tool uit hoofdstuk 6.
Die controle houdt elke schrijfactie binnen flashcards, maar kan niet beslissen of de gebruiker überhaupt een flashcard wil, en voorkomt niet dat een nieuwe kaart een eerdere kaart met dezelfde naam vervangt. Een model dat de vraag verkeerd begreep, zou er een kunnen opslaan waar niemand om vroeg, of heel veel. Een notitie lezen verandert niets, dus dat mag de agent vrij doen. Een bestand schrijven verandert iets, dus daar beslist een mens over.
Wie beslist
agent.py somt de tools op die iets veranderen:
CHANGING_TOOLS = ["save_flashcard"]
Voordat een van die tools draait, vraagt de lus het. Hoe ze het vraagt, bepaalt de aanroeper: een opdrachtregelprogramma kan de aanroep afdrukken en op input() wachten, een webapp kan een knop tonen, en een test antwoordt automatisch. Het vragen is dus een functie die de aanroeper meegeeft, met de naam approve. De lus roept approve(call) aan met de dictionary van de aanroep, en voert de tool alleen uit als die True teruggeeft.
Dat is een functie als argument meegeven. De andere helft van dat idee heb je al eerder gedaan: TOOLS sloeg functies op als waarden in een dictionary, en run_tool riep de functie aan die het vond. Hier komt de functie binnen als parameter, en run_calls roept die aan zonder te weten wat die doet.
Voor de runs zijn twee van zulke functies meegeleverd:
def approve_all(call):
"""Approve every call. A real program would ask the person, for example with input()."""
return True
def refuse_all(call):
"""Refuse every call. A real program would ask the person, for example with input()."""
return False
Een weigering is geen fout in het programma. Het model vroeg om iets, en het antwoord was nee. Dat gaat als toolresultaat terug naar het model, zodat het model de gebruiker kan vertellen wat er gebeurde:
Error: save_flashcard was not approved, so it did not run.
Bouw run_calls
run_calls(calls, tools, approve) vervangt tool_messages in de lus:
Begin met een lege lijst.
Voor elke aanroep, in volgorde: als de naam in
CHANGING_TOOLSstaat enapprove(call)nietTrueteruggeeft, is het resultaatf"Error: {name} was not approved, so it did not run.". Anders is het resultaatrun_tool(call, tools).Voeg voor elke aanroep
tool_result(call, result)toe, en geef de lijst terug.
Vraag alleen toestemming voor tools in CHANGING_TOOLS, en vraag het één keer per aanroep. Een geweigerde aanroep houdt de andere in hetzelfde antwoord niet tegen: elke aanroep krijgt zijn eigen resultaat, zoals in hoofdstuk 6, les 7.
Geef run_agent daarna een keyword-only parameter approve, na system, en roep run_calls(calls, tools, approve) aan waar de functie tool_messages(calls, tools) aanriep. De resultaten gaan nog steeds de trace in, dus een weigering is daar terug te zien.
Voer het uit
Voer python agent.py uit. De demonstratie stuurt Make a flashcard about copying a list. met AGENT_TOOLS, eerst met approve_all en dan met refuse_all, en daarna Make a flashcard called ../notes/01-variables. met approve_all:
Make a flashcard about copying a list. With approve_all:
Step 1 (50 tokens)
read_note {"note_id": "03-lists"} -> 1226 characters
Step 2 (391 tokens)
save_flashcard {"name": "copying-a-list", "front": "How do you make an independent copy of a list?", "back": "Use scores.copy() or list(scores). Both build a new list."} -> 35 characters
Step 3 (384 tokens)
answered
answer: I saved a flashcard called copying-a-list. It asks how to make an independent copy of a list. (03-lists)
Make a flashcard about copying a list. With refuse_all:
Step 1 (50 tokens)
read_note {"note_id": "03-lists"} -> 1226 characters
Step 2 (391 tokens)
save_flashcard {"name": "copying-a-list", "front": "How do you make an independent copy of a list?", "back": "Use scores.copy() or list(scores). Both build a new list."} -> 58 characters
Step 3 (414 tokens)
answered
answer: I did not save the flashcard, because you did not approve it. Here it is, so you can write it down yourself: How do you make an independent copy of a list? Use scores.copy() or list(scores). (03-lists)
Make a flashcard called ../notes/01-variables. With approve_all:
Step 1 (75 tokens)
save_flashcard {"name": "../notes/01-variables", "front": "What is a variable?", "back": "A name that refers to a value."} -> 103 characters
Step 2 (95 tokens)
answered
answer: I couldn't save that flashcard. The tool answered with an error, which you can read in the trace.
flashcards/copying-a-list.md holds:
Q: How do you make an independent copy of a list?
A: Use scores.copy() or list(scores). Both build a new list.
Run stopped at the next function to build: repeated_call is built in Lesson 7.
Met goedkeuring werd de kaart opgeslagen, en het resultaat van 35 tekens is Saved flashcards/copying-a-list.md.. Met weigering was het resultaat de weigering van 58 tekens, en het laatste antwoord van het model zegt dat het de kaart niet heeft opgeslagen. Het gescripte model kan zo antwoorden omdat zijn rij voor deze vraag een antwoord heeft voor een request waarvan de toolresultaten was not approved bevatten, zoals SCRIPTED_MODEL.md zegt. Een live model zou de weigering lezen en zelf een antwoord schrijven.
De derde run werd goedgekeurd, en toch weigerde save_flashcard: het resultaat van 103 tekens is de melding van de ValueError over de naam. Goedkeuring is niet de enige bescherming. Een mens kan een aanroep goedkeuren zonder de bestandsnaam goed te lezen, en de tool controleert nog steeds wat die krijgt.
Er staat nu een nieuwe map flashcards in je werkruimte, met de opgeslagen kaart erin.
Tijdens een run vraagt het model om read_note en daarna om save_flashcard. Hoe vaak roept run_calls approve aan?
approve weigert een aanroep van save_flashcard. Wat krijgt het model daarvoor terug?
approve_all keurt de aanroep save_flashcard met de naam ../notes/01-variables goed. Wat gebeurt er?
Opdracht
Vervang in agent.py de onafgemaakte body van run_calls(calls, tools, approve) en gebruik de functie daarna in run_agent.
run_calls: voor elke aanroep, in volgorde: als de naam inCHANGING_TOOLSstaat enapprove(call)nietTrueteruggeeft, is het resultaatf"Error: {name} was not approved, so it did not run.". Anders is het resultaatrun_tool(call, tools). Geef per aanroep één berichttool_result(call, result)terug.Roep
approvealleen aan voor tools inCHANGING_TOOLS, één keer per aanroep, met de dictionary van de aanroep.Geef
run_agenteen keyword-only parameterapprove, nasystem, en gebruikrun_calls(calls, tools, approve)waar de functietool_messages(calls, tools)gebruikte.
Voer python agent.py uit om op drie manieren om een flashcard te vragen, en controleer daarna je werk.