0%

Antworten aus deinen Notizen · Abschlussprojekt

Abschlussprojekt: Projekt: Fragen aus den Kursnotizen beantworten

Die Lektionen 2 bis 7 haben jeden Schritt einer fundierten Antwort gebaut, und die Demonstration hat sie einzeln aufgerufen. Dieses Projekt fügt sie zu einer Funktion zusammen, die eine Frage aus den Notizen beantwortet, und macht aus der Suche ein Tool, das ein Agent aufrufen kann:

answer = answer_from_notes("How do I make an independent copy of a list?", load_notes(), client=make_client(), k=3)
print(answer.answer)
print(answer.citations)
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
['03-lists#4']

Die Bausteine, die du hast

SchrittDein Code
Die Notizen in Abschnitte aufteilennote_chunks(notes) (Lektion 2)
Bewerten und die besten k behaltenbest_chunks(question, chunks, k) (Lektionen 3 und 4)
Die Anfrage bauengrounded_messages(question, chunks) (Lektion 5)
Die Antwort prüfenparse_cited_answer(text, chunks) (Lektion 6)
Entscheiden, ob gefragt wirdshould_answer(best) (Lektion 7)

Baue answer_from_notes

answer_from_notes(question, notes, *, client, k):

  1. best = best_chunks(question, note_chunks(notes), k).

  2. Wenn should_answer(best) falsch ist, gib sofort CitedAnswer(answer=I_DONT_KNOW, citations=[]) zurück. Es wird keine Anfrage gestellt, also wird nichts ausgegeben.

  3. Andernfalls schicke eine Anfrage: client.chat.completions.create(model=MODEL, messages=grounded_messages(question, best), response_format={"type": "json_object"}).

  4. Gib parse_cited_answer(response.choices[0].message.content, best) zurück. Übergib best, also die Abschnitte, die du geschickt hast, und nicht jeden Abschnitt der Notizen: Eine Quellenangabe ist nur dann echt, wenn ihr Abschnitt in dieser Anfrage war.

Lass jeden Fehler bis zum Aufrufer durch: einen ValidationError bei einer Antwort in der falschen Form (auch bei einer Antwort ohne Text), einen ValueError bei einer Quellenangabe, die nicht geschickt wurde, und jeden Fehler des Clients. Der Aufrufer entscheidet, was jeweils zu tun ist. Verwende den Client, den du bekommst; baue in der Funktion keinen eigenen mit make_client().

Das Bild verfolgt eine Frage durch answer_from_notes. Es zeigt drei Ausgänge: die feste Antwort I_DONT_KNOW ohne Anfrage, eine geprüfte CitedAnswer oder einen ValueError für eine Quellenangabe, die nicht geschickt wurde. Eine Antwort in der falschen Form löst bei derselben Prüfung ValidationError aus.

answer_from_notes sagt entweder ohne Anfrage „Ich weiß es nicht“, oder es schickt die besten Abschnitte als beschriftete Quellen und akzeptiert die Antwort nur, wenn jede Quellenangabe geschickt wurde.

Warum create und nicht die Parse-Hilfsfunktion

client.chat.completions.parse aus Kapitel 5 könnte die Antwort selbst zu einer CitedAnswer validieren. Dieses Projekt verwendet stattdessen create mit json_object und validiert den Text mit parse_cited_answer, und zwar aus zwei Gründen. Die Prüfung der Quellenangaben braucht die Liste der geschickten Abschnitte, von der die Parse-Hilfsfunktion nichts weiß. Und parse_cited_answer funktioniert mit jedem Antworttext, egal woher er kommt: In Kapitel 11 wird die letzte Antwort des Agenten genauso geprüft, und diese Antwort kommt aus der Agentenschleife, nicht aus einem einzelnen parse-Aufruf.

Baue search_notes

Der Agent aus Kapitel 7 liest mit read_note ganze Notizen. Mit einem Such-Tool kann er stattdessen nach den Passagen fragen, die zu einer Frage passen. search_notes(arguments) ist eine Tool-Funktion in der Form aus Kapitel 6: ein Argument, das dekodierte Argument-Dictionary, und ein String als Ergebnis.

  1. query = arguments.get("query"). Wenn das kein String ist (isinstance) oder query.strip() leer ist, löse ValueError("search_notes needs a query string, such as copying a list.") aus. run_tool aus Kapitel 6 macht daraus ein Fehlerergebnis für das Modell.

  2. best = best_chunks(query, note_chunks(load_notes()), K). Rufe load_notes() jedes Mal auf, damit eine Notiz, die neu in den Ordner kommt, gefunden wird, und verwende K des Moduls.

  3. Gib "No note matches that search." zurück, wenn best leer ist, andernfalls format_sources(best), die beschrifteten Quellen.

Das Modell liest das Ergebnis wie jedes Tool-Ergebnis, und die Labels darin sind das, was es zitieren kann.

Beschreibe das Tool

Ersetze SEARCH_NOTES_DESCRIPTION = {} durch eine Tool-Beschreibung in der Form aus Kapitel 6, Lektion 2: "type": "function" und ein "function" mit "name": "search_notes", einer Beschreibung, die sagt, was das Tool zurückgibt, und Parametern mit einer Property, query, vom Typ "string" mit einer eigenen Beschreibung, aufgeführt unter "required", und "additionalProperties": False. Das Abschlussprojekt in Kapitel 11 bietet es dem Agenten neben read_note an.

Ausführen

Führe python retrieval.py aus. Die Demonstration stellt drei Fragen über answer_from_notes und ruft dann search_notes direkt auf:

Answers from the notes:
You: How do I make an independent copy of a list?
Assistant: Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
You: Why should a default argument never be a list?
Refused: The answer cites 05-functions#6, which is not one of its sources.
You: What is the capital of France?
Assistant: I don't know. The notes don't cover that.
search_notes({"query": "copy a list"}) returns:
[01-variables#2] Assignment does not copy anything. After `a = [1, 2]` and `b = a`, both names refer to the same list, so a change made through `b` is visible through `a`. Numbers and strings cannot be changed in place, so for them this sharing never causes surprises. Lists and dictionaries can be changed, which is why sharing matters for them.

[03-lists#4] Because a list is changed in place, two names that refer to the same list both see every change. Use `scores.copy()` or `list(scores)` when you need an independent list. Adding two lists with `+` also builds a new list and leaves both originals unchanged.

[04-loops#7] Avoid adding or removing items in a list while a `for` loop runs over that same list. Loop over a copy instead, or build a new list.
The tool description is called search_notes.

Die Kopierfrage wird beantwortet und mit Quellenangabe versehen. Die Antwort auf die Frage zum Standardargument zitiert einen Abschnitt, den sie nicht bekommen hat, und wird deshalb abgelehnt statt angezeigt. Die Frage zu Frankreich bekommt die feste Antwort, und für sie wurde keine Anfrage geschickt. search_notes gibt die drei beschrifteten Quellen für copy a list zurück, in der Gleichstandsreihenfolge aus Lektion 4.

Die geskripteten Antworten stehen fest; ein Live-Modell schreibt seine eigenen aus den Quellen, und dann kommt es auf die Prüfung der Quellenangaben an. Bevor du deine Arbeit prüfst, überlege, was die Demonstration nicht zeigt: eine Antwort, die kein JSON ist, eine Antwort ohne Text, ein anderes k, eine Suchanfrage, die eine Zahl ist oder nur aus Leerzeichen besteht, und eine Suche ohne Treffer. Jeder dieser Fälle ist durch einen der Schritte oben abgedeckt.

Wie es weitergeht

Der Lernassistent kann aus seinen Notizen antworten und belegen, woher jede Antwort stammt. Kapitel 9 sorgt dafür, dass jeder Modellaufruf Ausfälle übersteht, und Kapitel 11 gibt dem Agenten search_notes und prüft seine letzte Antwort mit derselben Regel für Quellenangaben.

Warum übergibt answer_from_notes an parse_cited_answer nur best und nicht jeden Abschnitt der Notizen?

answer_from_notes("What is the capital of France?", ...) gibt die feste Antwort zurück. Wie viele Anfragen hat es geschickt?

Aufgabe

In retrieval.py:

  1. Ersetze den unfertigen Rumpf von answer_from_notes(question, notes, *, client, k). Setze best = best_chunks(question, note_chunks(notes), k). Wenn should_answer(best) falsch ist, gib CitedAnswer(answer=I_DONT_KNOW, citations=[]) zurück, ohne das Modell aufzurufen. Andernfalls stelle eine Anfrage, client.chat.completions.create(model=MODEL, messages=grounded_messages(question, best), response_format={"type": "json_object"}), und gib parse_cited_answer mit dem Inhalt der Antwort und best zurück. Lass jeden Fehler bis zum Aufrufer durch.

  2. Ersetze den unfertigen Rumpf von search_notes(arguments). Lies query = arguments.get("query"). Wenn das kein String ist oder nach .strip() leer ist, löse ValueError("search_notes needs a query string, such as copying a list.") aus. Andernfalls ermittle best_chunks(query, note_chunks(load_notes()), K) und gib "No note matches that search." zurück, wenn es keine gibt, sonst format_sources davon.

  3. Ersetze SEARCH_NOTES_DESCRIPTION = {} durch eine Tool-Beschreibung namens search_notes mit einer Beschreibung und einem erforderlichen String-Parameter query, der eine eigene Beschreibung hat, und "additionalProperties": False.

Verwende den Client, den du bekommst, und K, I_DONT_KNOW und NOTES_DIR (über load_notes) des Moduls über ihren Namen. Führe python retrieval.py aus, um drei Fragen aus den Notizen zu beantworten, und prüfe dann deine Arbeit.