Antworten aus deinen Notizen · Abschlussprojekt
Abschlussprojekt: Projekt: Fragen aus den Kursnotizen beantworten
Die Lektionen 2 bis 7 haben jeden Schritt einer fundierten Antwort gebaut, und die Demonstration hat sie einzeln aufgerufen. Dieses Projekt fügt sie zu einer Funktion zusammen, die eine Frage aus den Notizen beantwortet, und macht aus der Suche ein Tool, das ein Agent aufrufen kann:
answer = answer_from_notes("How do I make an independent copy of a list?", load_notes(), client=make_client(), k=3)
print(answer.answer)
print(answer.citations)
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
['03-lists#4']
Die Bausteine, die du hast
| Schritt | Dein Code |
|---|---|
| Die Notizen in Abschnitte aufteilen | note_chunks(notes) (Lektion 2) |
Bewerten und die besten k behalten | best_chunks(question, chunks, k) (Lektionen 3 und 4) |
| Die Anfrage bauen | grounded_messages(question, chunks) (Lektion 5) |
| Die Antwort prüfen | parse_cited_answer(text, chunks) (Lektion 6) |
| Entscheiden, ob gefragt wird | should_answer(best) (Lektion 7) |
Baue answer_from_notes
answer_from_notes(question, notes, *, client, k):
best = best_chunks(question, note_chunks(notes), k).Wenn
should_answer(best)falsch ist, gib sofortCitedAnswer(answer=I_DONT_KNOW, citations=[])zurück. Es wird keine Anfrage gestellt, also wird nichts ausgegeben.Andernfalls schicke eine Anfrage:
client.chat.completions.create(model=MODEL, messages=grounded_messages(question, best), response_format={"type": "json_object"}).Gib
parse_cited_answer(response.choices[0].message.content, best)zurück. Übergibbest, also die Abschnitte, die du geschickt hast, und nicht jeden Abschnitt der Notizen: Eine Quellenangabe ist nur dann echt, wenn ihr Abschnitt in dieser Anfrage war.
Lass jeden Fehler bis zum Aufrufer durch: einen ValidationError bei einer Antwort in der falschen Form (auch bei einer Antwort ohne Text), einen ValueError bei einer Quellenangabe, die nicht geschickt wurde, und jeden Fehler des Clients. Der Aufrufer entscheidet, was jeweils zu tun ist. Verwende den Client, den du bekommst; baue in der Funktion keinen eigenen mit make_client().
Das Bild verfolgt eine Frage durch answer_from_notes. Es zeigt drei Ausgänge: die feste Antwort I_DONT_KNOW ohne Anfrage, eine geprüfte CitedAnswer oder einen ValueError für eine Quellenangabe, die nicht geschickt wurde. Eine Antwort in der falschen Form löst bei derselben Prüfung ValidationError aus.

Warum create und nicht die Parse-Hilfsfunktion
client.chat.completions.parse aus Kapitel 5 könnte die Antwort selbst zu einer CitedAnswer validieren. Dieses Projekt verwendet stattdessen create mit json_object und validiert den Text mit parse_cited_answer, und zwar aus zwei Gründen. Die Prüfung der Quellenangaben braucht die Liste der geschickten Abschnitte, von der die Parse-Hilfsfunktion nichts weiß. Und parse_cited_answer funktioniert mit jedem Antworttext, egal woher er kommt: In Kapitel 11 wird die letzte Antwort des Agenten genauso geprüft, und diese Antwort kommt aus der Agentenschleife, nicht aus einem einzelnen parse-Aufruf.
Baue search_notes
Der Agent aus Kapitel 7 liest mit read_note ganze Notizen. Mit einem Such-Tool kann er stattdessen nach den Passagen fragen, die zu einer Frage passen. search_notes(arguments) ist eine Tool-Funktion in der Form aus Kapitel 6: ein Argument, das dekodierte Argument-Dictionary, und ein String als Ergebnis.
query = arguments.get("query"). Wenn das kein String ist (isinstance) oderquery.strip()leer ist, löseValueError("search_notes needs a query string, such as copying a list.")aus.run_toolaus Kapitel 6 macht daraus ein Fehlerergebnis für das Modell.best = best_chunks(query, note_chunks(load_notes()), K). Rufeload_notes()jedes Mal auf, damit eine Notiz, die neu in den Ordner kommt, gefunden wird, und verwendeKdes Moduls.Gib
"No note matches that search."zurück, wennbestleer ist, andernfallsformat_sources(best), die beschrifteten Quellen.
Das Modell liest das Ergebnis wie jedes Tool-Ergebnis, und die Labels darin sind das, was es zitieren kann.
Beschreibe das Tool
Ersetze SEARCH_NOTES_DESCRIPTION = {} durch eine Tool-Beschreibung in der Form aus Kapitel 6, Lektion 2: "type": "function" und ein "function" mit "name": "search_notes", einer Beschreibung, die sagt, was das Tool zurückgibt, und Parametern mit einer Property, query, vom Typ "string" mit einer eigenen Beschreibung, aufgeführt unter "required", und "additionalProperties": False. Das Abschlussprojekt in Kapitel 11 bietet es dem Agenten neben read_note an.
Ausführen
Führe python retrieval.py aus. Die Demonstration stellt drei Fragen über answer_from_notes und ruft dann search_notes direkt auf:
Answers from the notes:
You: How do I make an independent copy of a list?
Assistant: Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
You: Why should a default argument never be a list?
Refused: The answer cites 05-functions#6, which is not one of its sources.
You: What is the capital of France?
Assistant: I don't know. The notes don't cover that.
search_notes({"query": "copy a list"}) returns:
[01-variables#2] Assignment does not copy anything. After `a = [1, 2]` and `b = a`, both names refer to the same list, so a change made through `b` is visible through `a`. Numbers and strings cannot be changed in place, so for them this sharing never causes surprises. Lists and dictionaries can be changed, which is why sharing matters for them.
[03-lists#4] Because a list is changed in place, two names that refer to the same list both see every change. Use `scores.copy()` or `list(scores)` when you need an independent list. Adding two lists with `+` also builds a new list and leaves both originals unchanged.
[04-loops#7] Avoid adding or removing items in a list while a `for` loop runs over that same list. Loop over a copy instead, or build a new list.
The tool description is called search_notes.
Die Kopierfrage wird beantwortet und mit Quellenangabe versehen. Die Antwort auf die Frage zum Standardargument zitiert einen Abschnitt, den sie nicht bekommen hat, und wird deshalb abgelehnt statt angezeigt. Die Frage zu Frankreich bekommt die feste Antwort, und für sie wurde keine Anfrage geschickt. search_notes gibt die drei beschrifteten Quellen für copy a list zurück, in der Gleichstandsreihenfolge aus Lektion 4.
Die geskripteten Antworten stehen fest; ein Live-Modell schreibt seine eigenen aus den Quellen, und dann kommt es auf die Prüfung der Quellenangaben an. Bevor du deine Arbeit prüfst, überlege, was die Demonstration nicht zeigt: eine Antwort, die kein JSON ist, eine Antwort ohne Text, ein anderes k, eine Suchanfrage, die eine Zahl ist oder nur aus Leerzeichen besteht, und eine Suche ohne Treffer. Jeder dieser Fälle ist durch einen der Schritte oben abgedeckt.
Wie es weitergeht
Der Lernassistent kann aus seinen Notizen antworten und belegen, woher jede Antwort stammt. Kapitel 9 sorgt dafür, dass jeder Modellaufruf Ausfälle übersteht, und Kapitel 11 gibt dem Agenten search_notes und prüft seine letzte Antwort mit derselben Regel für Quellenangaben.
Warum übergibt answer_from_notes an parse_cited_answer nur best und nicht jeden Abschnitt der Notizen?
answer_from_notes("What is the capital of France?", ...) gibt die feste Antwort zurück. Wie viele Anfragen hat es geschickt?
Aufgabe
In retrieval.py:
Ersetze den unfertigen Rumpf von
answer_from_notes(question, notes, *, client, k). Setzebest = best_chunks(question, note_chunks(notes), k). Wennshould_answer(best)falsch ist, gibCitedAnswer(answer=I_DONT_KNOW, citations=[])zurück, ohne das Modell aufzurufen. Andernfalls stelle eine Anfrage,client.chat.completions.create(model=MODEL, messages=grounded_messages(question, best), response_format={"type": "json_object"}), und gibparse_cited_answermit dem Inhalt der Antwort undbestzurück. Lass jeden Fehler bis zum Aufrufer durch.Ersetze den unfertigen Rumpf von
search_notes(arguments). Liesquery = arguments.get("query"). Wenn das kein String ist oder nach.strip()leer ist, löseValueError("search_notes needs a query string, such as copying a list.")aus. Andernfalls ermittlebest_chunks(query, note_chunks(load_notes()), K)und gib"No note matches that search."zurück, wenn es keine gibt, sonstformat_sourcesdavon.Ersetze
SEARCH_NOTES_DESCRIPTION = {}durch eine Tool-Beschreibung namenssearch_notesmit einer Beschreibung und einem erforderlichen String-Parameterquery, der eine eigene Beschreibung hat, und"additionalProperties": False.
Verwende den Client, den du bekommst, und K, I_DONT_KNOW und NOTES_DIR (über load_notes) des Moduls über ihren Namen. Führe python retrieval.py aus, um drei Fragen aus den Notizen zu beantworten, und prüfe dann deine Arbeit.