0%

Eindproject · oefening

Controleer de bronnen van ask tegen wat de tools teruggaven

ask antwoordt met de agent: het model kiest waarop het zoekt, leest de passages die search_notes teruggeeft en sluit af met een JSON-antwoord dat de labels noemt van de passages die het gebruikte. Voordat het programma die labels na Sources: afdrukt, moet het ze controleren.

Hoofdstuk 8 had hetzelfde probleem en een eenvoudige controle. answer_from_notes koos de passages zelf, zette ze in de prompt, en parse_cited_answer wees elke bronvermelding af die niet een van hun labels was. Bij ask is er vooraf geen zo’n lijst. Het model besliste waarop het zocht, misschien meer dan eens. Het enige verslag van wat het te zien kreeg, is de trace van de agent.

Waar de labels staan

Elk item van de trace die run_agent teruggeeft, is een dictionary zoals deze, uit de eerste stap van de kopieervraag:

{
    "step": 1,
    "tokens": 159,
    "tool_calls": [{"id": "call_1_1", "name": "search_notes", "arguments": '{"query": "independent copy of a list"}'}],
    "results": ["[03-lists#4] Because a list is changed in place, ...\n\n[01-variables#2] Assignment does not copy anything. ...\n\n[04-loops#7] Avoid adding or removing items ..."],
}

results bevat de tekst die elke tool teruggaf, in dezelfde volgorde als tool_calls. Een resultaat van search_notes is de format_sources uit hoofdstuk 8 van de beste passages: elke passage begint met haar label tussen vierkante haken, en passages worden gescheiden door een lege regel, "\n\n". De labels die het model mag vermelden zijn dus de labels tussen haken aan het begin van elk blok van elk resultaat van search_notes, over alle stappen van de run.

Drie soorten resultaten hebben geen labels, en de controle moet die met laten:

  • No note matches that search., wat search_notes teruggeeft als geen enkele passage een woord deelt met de zoekopdracht;

  • een foutresultaat, zoals Error: search_notes needs a query string, such as copying a list.;

  • een resultaat van read_note. Een hele notitie kan zelfs met [ beginnen, maar het is geen passage en heeft geen label. De regel is dat alleen een passage die een zoekopdracht teruggaf, vermeld mag worden.

Nog één geval: als de agent stopt op een stap die om tools vroeg, vanwege max_steps of een herhaalde aanroep, zijn de aanroepen van die stap nooit uitgevoerd. Het item heeft dan wel tool_calls maar geen results. Loop de resultaten op positie door, met range(len(results)), dan wordt een aanroep zonder resultaat overgeslagen zonder speciaal geval.

trace_labels

trace_labels(trace) geeft de labels terug in de volgorde waarin ze kwamen, herhalingen inbegrepen:

  1. Begin met een lege lijst.

  2. Neem voor elk item zijn tool_calls en zijn results, en bekijk voor elke index in range(len(results)) de aanroep met dezelfde index.

  3. Als de name van de aanroep "search_notes" is, splits je het resultaat op "\n\n". Voor elk blok dat begint met [ en ] bevat, is het label de tekst daartussen: block[1:].split("]")[0]. block[1:] laat de openingshaak weg, en split("]")[0] houdt over wat vóór de eerste sluithaak staat, dus een latere ] in de passage maakt niet uit.

  4. Geef de lijst terug.

Een blok zoals No note matches that search. begint niet met [, dus het voegt niets toe.

check_answer

check_answer(text, labels) vervangt voor ask de parse_cited_answer uit hoofdstuk 8:

  1. Valideer het antwoord met CitedAnswer.model_validate_json(text). Als de tekst geen geldige JSON is of niet de juiste vorm heeft, werpt dit de ValidationError van pydantic op. Laat die door: les 3 vangt hem af.

  2. Werp voor elke bronvermelding, op volgorde, die niet in labels staat ValueError(f"The answer cites {citation}, which no search result in this run contained.") op. Alleen de eerste zo’n bronvermelding wordt genoemd.

  3. Geef anders de CitedAnswer terug.

Een antwoord met een lege lijst bronvermeldingen komt erdoor: “de notities gaan daar niet over” is een geldig antwoord, en het vermeldt niets. Een run die nooit gezocht heeft, heeft geen labels, dus elke bronvermelding daarin wordt afgewezen.

De melding zegt bewust “in this run”. Les 3 stuurt haar als feedback terug naar het model, dus ze moet precies zeggen wat er mis was.

Voer het uit

Als beide functies geschreven zijn, voer je python stages.py uit. Het blok van les 2 voert de agent uit op de kopieervraag met de tools en het systeembericht van ask, en drukt de trace af, de labels die de ene zoekopdracht teruggaf en wat check_answer van het laatste antwoord maakt:

Lesson 2: the agent's run for the copy question
Step 1 (159 tokens)
  search_notes {"query": "independent copy of a list"} -> 763 characters
Step 2 (380 tokens)
  answered
Labels its searches returned: ['03-lists#4', '01-variables#2', '04-loops#7']
check_answer gave: CitedAnswer(answer='Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.', citations=['03-lists#4'])
Lesson 3: ask_command
--- How do I make an independent copy of a list?
Run stopped at the next function to build: ask_command is built in Lesson 3.

De zoekopdracht gaf drie passages terug en het antwoord vermeldt er één van, dus het komt erdoor. De controle van je werk gebruikt traces die je niet hebt gezien: twee zoekopdrachten in één stap, zoekopdrachten verspreid over stappen, een zoekopdracht die niets vond, een resultaat van read_note, een fout en een stap waarvan de aanroepen nooit zijn uitgevoerd.

Waarom loopt trace_labels elk item door met range(len(results)) in plaats van range(len(tool_calls))?

In een run gaf de enige zoekopdracht No note matches that search. terug, daarna riep het model read_note aan voor 03-lists en antwoordde het met een bronvermelding naar 03-lists#4. Wat doet check_answer?

Opdracht

Schrijf in study_assistant.py twee functies.

trace_labels(trace): begin met een lege lijst. Loop voor elk item van de trace zijn tool_calls en results op positie door met range(len(results)). Splits voor een aanroep waarvan de name gelijk is aan "search_notes" het resultaat op "\n\n", en voeg voor elk blok dat begint met [ en ] bevat block[1:].split("]")[0] toe. Geef de lijst terug, op volgorde, herhalingen inbegrepen.

check_answer(text, labels): valideer text met CitedAnswer.model_validate_json(text) en laat een ValidationError door. Werp voor de eerste bronvermelding die niet in labels staat ValueError(f"The answer cites {citation}, which no search result in this run contained.") op. Geef anders het antwoord terug.

Voer python stages.py uit om de labels van de run voor de kopieervraag te zien, en controleer daarna je werk.