Antwoorden uit je notities · eindproject
Eindproject: Project: beantwoord vragen uit de cursusnotities
Les 2 tot en met 7 hebben elke stap van een onderbouwd antwoord gebouwd, en de demonstratie roept ze steeds een voor een aan. Dit project voegt ze samen tot één functie die een vraag uit de notities beantwoordt, en maakt van het zoeken een tool die een agent kan aanroepen:
answer = answer_from_notes("How do I make an independent copy of a list?", load_notes(), client=make_client(), k=3)
print(answer.answer)
print(answer.citations)
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
['03-lists#4']
De onderdelen die je hebt
| Stap | Je code |
|---|---|
| Splits de notities in fragmenten | note_chunks(notes) (les 2) |
Geef scores en houd de beste k | best_chunks(question, chunks, k) (les 3 en 4) |
| Bouw het request | grounded_messages(question, chunks) (les 5) |
| Controleer het antwoord | parse_cited_answer(text, chunks) (les 6) |
| Beslis of je het model iets vraagt | should_answer(best) (les 7) |
Bouw answer_from_notes
answer_from_notes(question, notes, *, client, k):
best = best_chunks(question, note_chunks(notes), k).Als
should_answer(best)onwaar is, geef dan meteenCitedAnswer(answer=I_DONT_KNOW, citations=[])terug. Er wordt geen request gedaan, dus er wordt niets uitgegeven.Verstuur anders één request:
client.chat.completions.create(model=MODEL, messages=grounded_messages(question, best), response_format={"type": "json_object"}).Geef
parse_cited_answer(response.choices[0].message.content, best)terug. Geefbestmee, de fragmenten die je hebt verstuurd, en niet elk fragment van de notities: een bronvermelding is alleen echt als het fragment in dit request zat.
Laat elke fout de aanroeper bereiken: een ValidationError voor een antwoord in de verkeerde vorm (ook een antwoord zonder tekst), een ValueError voor een bronvermelding die niet is verstuurd, en elke fout van de client. De aanroeper beslist wat er met elk ervan gebeurt. Gebruik de client die je krijgt; bouw er geen met make_client() in de functie.
De afbeelding volgt één vraag door answer_from_notes. Ze toont drie uitgangen: het vaste antwoord I_DONT_KNOW zonder request, een gecontroleerde CitedAnswer, of een ValueError voor een bronvermelding die niet is verstuurd. Een antwoord in de verkeerde vorm werpt bij dezelfde controle ValidationError op.

Waarom create en niet de parse-hulpfunctie
client.chat.completions.parse uit hoofdstuk 5 zou het antwoord zelf kunnen valideren tot een CitedAnswer. Dit project gebruikt in plaats daarvan create met json_object en valideert de tekst met parse_cited_answer, om twee redenen. De controle van de bronvermeldingen heeft de lijst met verstuurde fragmenten nodig, en daar weet de parse-hulpfunctie niets van. En parse_cited_answer werkt op elke antwoordtekst, waar die ook vandaan komt: in hoofdstuk 11 wordt het eindantwoord van de agent op dezelfde manier gecontroleerd, en dat antwoord komt uit de lus van de agent, niet uit één parse-aanroep.
Bouw search_notes
De agent uit hoofdstuk 7 leest hele notities met read_note. Met een zoektool kan hij in plaats daarvan vragen om de passages die bij een vraag passen. search_notes(arguments) is een toolfunctie in de vorm uit hoofdstuk 6: één argument, de gedecodeerde dictionary met argumenten, en een string als resultaat.
query = arguments.get("query"). Als dat geen string is (isinstance), of alsquery.strip()leeg is, werp danValueError("search_notes needs a query string, such as copying a list.")op.run_tooluit hoofdstuk 6 maakt daar een foutresultaat voor het model van.best = best_chunks(query, note_chunks(load_notes()), K). Roep elke keerload_notes()aan, zodat een notitie die aan de map is toegevoegd ook gevonden wordt, en gebruikKvan de module.Geef
"No note matches that search."terug alsbestleeg is, en andersformat_sources(best), de gelabelde bronnen.
Het model leest het resultaat zoals elk toolresultaat, en de labels erin zijn wat het kan vermelden.
Beschrijf de tool
Vervang SEARCH_NOTES_DESCRIPTION = {} door een toolbeschrijving in de vorm uit hoofdstuk 6, les 2: "type": "function", en een "function" met "name": "search_notes", een beschrijving die zegt wat de tool teruggeeft, en parameters met één property, query, van het type "string" met een eigen beschrijving, vermeld onder "required", en "additionalProperties": False. Het eindproject in hoofdstuk 11 biedt de tool aan de agent aan, naast read_note.
Voer het uit
Voer python retrieval.py uit. De demonstratie stelt drie vragen via answer_from_notes en roept daarna search_notes rechtstreeks aan:
Answers from the notes:
You: How do I make an independent copy of a list?
Assistant: Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
You: Why should a default argument never be a list?
Refused: The answer cites 05-functions#6, which is not one of its sources.
You: What is the capital of France?
Assistant: I don't know. The notes don't cover that.
search_notes({"query": "copy a list"}) returns:
[01-variables#2] Assignment does not copy anything. After `a = [1, 2]` and `b = a`, both names refer to the same list, so a change made through `b` is visible through `a`. Numbers and strings cannot be changed in place, so for them this sharing never causes surprises. Lists and dictionaries can be changed, which is why sharing matters for them.
[03-lists#4] Because a list is changed in place, two names that refer to the same list both see every change. Use `scores.copy()` or `list(scores)` when you need an independent list. Adding two lists with `+` also builds a new list and leaves both originals unchanged.
[04-loops#7] Avoid adding or removing items in a list while a `for` loop runs over that same list. Loop over a copy instead, or build a new list.
The tool description is called search_notes.
De kopieervraag wordt beantwoord, met bronvermelding. Het antwoord op de vraag over het standaardargument vermeldt een fragment dat het niet heeft gekregen, dus het wordt geweigerd in plaats van getoond. De vraag over Frankrijk krijgt het vaste antwoord, en er is geen request voor verstuurd. search_notes geeft de drie gelabelde bronnen voor copy a list terug, in de volgorde bij gelijkspel uit les 4.
De gescripte antwoorden liggen vast; een live model schrijft zijn eigen antwoord uit de bronnen, en juist dan doet de controle van de bronvermeldingen ertoe. Denk voordat je je werk controleert na over wat de demonstratie niet laat zien: een antwoord dat geen JSON is, een antwoord zonder tekst, een andere k, een query die een getal is of alleen uit spaties bestaat, en een zoekopdracht zonder match. Elk daarvan wordt gedekt door een stap hierboven.
Hoe het verdergaat
De studieassistent kan antwoorden uit zijn notities en aantonen waar elk antwoord vandaan kwam. Hoofdstuk 9 zorgt dat elke modelaanroep fouten overleeft, en hoofdstuk 11 geeft de agent search_notes en controleert zijn eindantwoord met dezelfde regel voor bronvermeldingen.
Waarom geeft answer_from_notes best, en niet elk fragment van de notities, door aan parse_cited_answer?
answer_from_notes("What is the capital of France?", ...) geeft het vaste antwoord terug. Hoeveel requests heeft het verstuurd?
Opdracht
In retrieval.py:
Vervang de onafgemaakte body van
answer_from_notes(question, notes, *, client, k). Stelbest = best_chunks(question, note_chunks(notes), k)in. Alsshould_answer(best)onwaar is, geef danCitedAnswer(answer=I_DONT_KNOW, citations=[])terug zonder het model aan te roepen. Doe anders één request,client.chat.completions.create(model=MODEL, messages=grounded_messages(question, best), response_format={"type": "json_object"}), en geefparse_cited_answervan de content van het antwoord enbestterug. Laat elke fout de aanroeper bereiken.Vervang de onafgemaakte body van
search_notes(arguments). Leesquery = arguments.get("query"). Als dat geen string is, of leeg is na.strip(), werp danValueError("search_notes needs a query string, such as copying a list.")op. Zoek andersbest_chunks(query, note_chunks(load_notes()), K)en geef"No note matches that search."terug als er geen zijn, en andersformat_sourcesdaarvan.Vervang
SEARCH_NOTES_DESCRIPTION = {}door een toolbeschrijving met de naamsearch_notes, met een beschrijving en één verplichte stringparameterquerydie een eigen beschrijving heeft, en"additionalProperties": False.
Gebruik de client die je krijgt en K, I_DONT_KNOW en NOTES_DIR (via load_notes) van de module bij naam. Voer python retrieval.py uit om drie vragen uit de notities te beantwoorden, en controleer daarna je werk.