0%

Antwoorden uit je notities · eindproject

Eindproject: Project: beantwoord vragen uit de cursusnotities

Les 2 tot en met 7 hebben elke stap van een onderbouwd antwoord gebouwd, en de demonstratie roept ze steeds een voor een aan. Dit project voegt ze samen tot één functie die een vraag uit de notities beantwoordt, en maakt van het zoeken een tool die een agent kan aanroepen:

answer = answer_from_notes("How do I make an independent copy of a list?", load_notes(), client=make_client(), k=3)
print(answer.answer)
print(answer.citations)
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
['03-lists#4']

De onderdelen die je hebt

StapJe code
Splits de notities in fragmentennote_chunks(notes) (les 2)
Geef scores en houd de beste kbest_chunks(question, chunks, k) (les 3 en 4)
Bouw het requestgrounded_messages(question, chunks) (les 5)
Controleer het antwoordparse_cited_answer(text, chunks) (les 6)
Beslis of je het model iets vraagtshould_answer(best) (les 7)

Bouw answer_from_notes

answer_from_notes(question, notes, *, client, k):

  1. best = best_chunks(question, note_chunks(notes), k).

  2. Als should_answer(best) onwaar is, geef dan meteen CitedAnswer(answer=I_DONT_KNOW, citations=[]) terug. Er wordt geen request gedaan, dus er wordt niets uitgegeven.

  3. Verstuur anders één request: client.chat.completions.create(model=MODEL, messages=grounded_messages(question, best), response_format={"type": "json_object"}).

  4. Geef parse_cited_answer(response.choices[0].message.content, best) terug. Geef best mee, de fragmenten die je hebt verstuurd, en niet elk fragment van de notities: een bronvermelding is alleen echt als het fragment in dit request zat.

Laat elke fout de aanroeper bereiken: een ValidationError voor een antwoord in de verkeerde vorm (ook een antwoord zonder tekst), een ValueError voor een bronvermelding die niet is verstuurd, en elke fout van de client. De aanroeper beslist wat er met elk ervan gebeurt. Gebruik de client die je krijgt; bouw er geen met make_client() in de functie.

De afbeelding volgt één vraag door answer_from_notes. Ze toont drie uitgangen: het vaste antwoord I_DONT_KNOW zonder request, een gecontroleerde CitedAnswer, of een ValueError voor een bronvermelding die niet is verstuurd. Een antwoord in de verkeerde vorm werpt bij dezelfde controle ValidationError op.

answer_from_notes zegt ofwel ik weet het niet zonder request, ofwel stuurt het de beste fragmenten als gelabelde bronnen en accepteert het antwoord alleen als elke vermelde bron ook verstuurd is.

Waarom create en niet de parse-hulpfunctie

client.chat.completions.parse uit hoofdstuk 5 zou het antwoord zelf kunnen valideren tot een CitedAnswer. Dit project gebruikt in plaats daarvan create met json_object en valideert de tekst met parse_cited_answer, om twee redenen. De controle van de bronvermeldingen heeft de lijst met verstuurde fragmenten nodig, en daar weet de parse-hulpfunctie niets van. En parse_cited_answer werkt op elke antwoordtekst, waar die ook vandaan komt: in hoofdstuk 11 wordt het eindantwoord van de agent op dezelfde manier gecontroleerd, en dat antwoord komt uit de lus van de agent, niet uit één parse-aanroep.

Bouw search_notes

De agent uit hoofdstuk 7 leest hele notities met read_note. Met een zoektool kan hij in plaats daarvan vragen om de passages die bij een vraag passen. search_notes(arguments) is een toolfunctie in de vorm uit hoofdstuk 6: één argument, de gedecodeerde dictionary met argumenten, en een string als resultaat.

  1. query = arguments.get("query"). Als dat geen string is (isinstance), of als query.strip() leeg is, werp dan ValueError("search_notes needs a query string, such as copying a list.") op. run_tool uit hoofdstuk 6 maakt daar een foutresultaat voor het model van.

  2. best = best_chunks(query, note_chunks(load_notes()), K). Roep elke keer load_notes() aan, zodat een notitie die aan de map is toegevoegd ook gevonden wordt, en gebruik K van de module.

  3. Geef "No note matches that search." terug als best leeg is, en anders format_sources(best), de gelabelde bronnen.

Het model leest het resultaat zoals elk toolresultaat, en de labels erin zijn wat het kan vermelden.

Beschrijf de tool

Vervang SEARCH_NOTES_DESCRIPTION = {} door een toolbeschrijving in de vorm uit hoofdstuk 6, les 2: "type": "function", en een "function" met "name": "search_notes", een beschrijving die zegt wat de tool teruggeeft, en parameters met één property, query, van het type "string" met een eigen beschrijving, vermeld onder "required", en "additionalProperties": False. Het eindproject in hoofdstuk 11 biedt de tool aan de agent aan, naast read_note.

Voer het uit

Voer python retrieval.py uit. De demonstratie stelt drie vragen via answer_from_notes en roept daarna search_notes rechtstreeks aan:

Answers from the notes:
You: How do I make an independent copy of a list?
Assistant: Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
You: Why should a default argument never be a list?
Refused: The answer cites 05-functions#6, which is not one of its sources.
You: What is the capital of France?
Assistant: I don't know. The notes don't cover that.
search_notes({"query": "copy a list"}) returns:
[01-variables#2] Assignment does not copy anything. After `a = [1, 2]` and `b = a`, both names refer to the same list, so a change made through `b` is visible through `a`. Numbers and strings cannot be changed in place, so for them this sharing never causes surprises. Lists and dictionaries can be changed, which is why sharing matters for them.

[03-lists#4] Because a list is changed in place, two names that refer to the same list both see every change. Use `scores.copy()` or `list(scores)` when you need an independent list. Adding two lists with `+` also builds a new list and leaves both originals unchanged.

[04-loops#7] Avoid adding or removing items in a list while a `for` loop runs over that same list. Loop over a copy instead, or build a new list.
The tool description is called search_notes.

De kopieervraag wordt beantwoord, met bronvermelding. Het antwoord op de vraag over het standaardargument vermeldt een fragment dat het niet heeft gekregen, dus het wordt geweigerd in plaats van getoond. De vraag over Frankrijk krijgt het vaste antwoord, en er is geen request voor verstuurd. search_notes geeft de drie gelabelde bronnen voor copy a list terug, in de volgorde bij gelijkspel uit les 4.

De gescripte antwoorden liggen vast; een live model schrijft zijn eigen antwoord uit de bronnen, en juist dan doet de controle van de bronvermeldingen ertoe. Denk voordat je je werk controleert na over wat de demonstratie niet laat zien: een antwoord dat geen JSON is, een antwoord zonder tekst, een andere k, een query die een getal is of alleen uit spaties bestaat, en een zoekopdracht zonder match. Elk daarvan wordt gedekt door een stap hierboven.

Hoe het verdergaat

De studieassistent kan antwoorden uit zijn notities en aantonen waar elk antwoord vandaan kwam. Hoofdstuk 9 zorgt dat elke modelaanroep fouten overleeft, en hoofdstuk 11 geeft de agent search_notes en controleert zijn eindantwoord met dezelfde regel voor bronvermeldingen.

Waarom geeft answer_from_notes best, en niet elk fragment van de notities, door aan parse_cited_answer?

answer_from_notes("What is the capital of France?", ...) geeft het vaste antwoord terug. Hoeveel requests heeft het verstuurd?

Opdracht

In retrieval.py:

  1. Vervang de onafgemaakte body van answer_from_notes(question, notes, *, client, k). Stel best = best_chunks(question, note_chunks(notes), k) in. Als should_answer(best) onwaar is, geef dan CitedAnswer(answer=I_DONT_KNOW, citations=[]) terug zonder het model aan te roepen. Doe anders één request, client.chat.completions.create(model=MODEL, messages=grounded_messages(question, best), response_format={"type": "json_object"}), en geef parse_cited_answer van de content van het antwoord en best terug. Laat elke fout de aanroeper bereiken.

  2. Vervang de onafgemaakte body van search_notes(arguments). Lees query = arguments.get("query"). Als dat geen string is, of leeg is na .strip(), werp dan ValueError("search_notes needs a query string, such as copying a list.") op. Zoek anders best_chunks(query, note_chunks(load_notes()), K) en geef "No note matches that search." terug als er geen zijn, en anders format_sources daarvan.

  3. Vervang SEARCH_NOTES_DESCRIPTION = {} door een toolbeschrijving met de naam search_notes, met een beschrijving en één verplichte stringparameter query die een eigen beschrijving heeft, en "additionalProperties": False.

Gebruik de client die je krijgt en K, I_DONT_KNOW en NOTES_DIR (via load_notes) van de module bij naam. Voer python retrieval.py uit om drie vragen uit de notities te beantwoorden, en controleer daarna je werk.