Antworten aus deinen Notizen · Übung
Prüfen, ob die Antwort echte Quellen zitiert
Das Modell hat 03-lists#4 zitiert. Soll dein Programm ihm glauben? Das Modell hat dieses Label gewählt, und ein Modell kann jeden beliebigen Text schreiben, auch ein Label, das es nie bekommen hat. In dieser Lektion entscheidet das Programm selbst: Es validiert die Form der Antwort mit einem Pydantic-Modell und prüft dann jede Quellenangabe gegen die Labels, die es wirklich geschickt hat.
Schreibe CitedAnswer
Öffne answer_models.py. Die Datei enthält den Platzhalter:
# Lesson 6: replace the next line with your CitedAnswer model.
CitedAnswer = None
Ersetze beide Zeilen durch ein Pydantic-Modell in der Form, in der du in Kapitel 4 QuizSet geschrieben hast: eine Klassenzeile mit BaseModel und ein Feld mit Hint pro JSON-Schlüssel, ohne Standardwerte, sodass beide Pflichtfelder sind:
class CitedAnswer(BaseModel):
answer: str
citations: list[str]
retrieval.py importiert CitedAnswer aus dieser Datei, also speichere sie, bevor du python retrieval.py ausführst.
Gültig ist nicht dasselbe wie wahr
CitedAnswer.model_validate_json(text) prüft die Form, so wie QuizSet.model_validate_json in Kapitel 4: Der Text muss JSON sein, answer muss ein String sein und citations eine Liste von Strings. Jeder andere Text löst ValidationError aus, und parse_cited_answer lässt diesen Fehler bis zum Aufrufer durch.
Eine Antwort kann diese Prüfung bestehen und trotzdem 05-functions#6 zitieren, wenn du 05-functions#5, 01-variables#2 und 05-functions#4 geschickt hast. Die Form stimmt; die Quellenangabe ist nicht echt. Ein festes Modell wie CitedAnswer kann das nicht erkennen, denn welche Labels echt sind, ändert sich mit jeder Anfrage. Dein Programm weiß genau, welche Abschnitte es geschickt hat, also kann es das.
Baue parse_cited_answer
parse_cited_answer(text, chunks), wobei chunks die geschickten Abschnitte sind:
answer = CitedAnswer.model_validate_json(text). Keintry: EinValidationErrorsoll den Aufrufer erreichen.Bilde mit
chunk_labeldie Liste der Labels vonchunks.Für jede Quellenangabe in
answer.citations, der Reihe nach: Wenn sie nicht in dieser Liste steht,raise ValueError(f"The answer cites {citation}, which is not one of its sources."). Die erste unbekannte Quellenangabe beendet die Prüfung.Gib
answerzurück.
Vergleiche ganze Labels. Würdest du nur prüfen, ob die Quellenangabe irgendwo im Quellentext vorkommt, kämen 03-lists oder lists durch. Und eine Quellenangabe mit Klammern ist auch kein Label: GROUNDED_SYSTEM verlangt Labels ohne Klammern.
Eine leere citations-Liste besteht die Prüfung. Damit sagt das Modell, dass die Quellen die Frage nicht beantworten, so wie GROUNDED_SYSTEM es anweist. Ein Programm, das sie ablehnt, würde das Modell für seine Ehrlichkeit bestrafen.
Ausführen
Führe python retrieval.py aus. Die Demonstration prüft die Antwort auf die Kopierfrage und schickt dann die Frage zum Standardargument, „Why should a default argument never be a list?“, mit ihren besten drei Abschnitten:
parse_cited_answer accepted it. Citations: ['03-lists#4']
The default-argument question, sent with 05-functions#5, 01-variables#2, 05-functions#4:
{"answer": "The default is created once, when the function is defined, so every call that relies on it shares the same list. Use None as the default and create a new list inside the function.", "citations": ["05-functions#5", "05-functions#6"]}
parse_cited_answer refused it: The answer cites 05-functions#6, which is not one of its sources.
Should the model be asked?
Run stopped at the next function to build: should_answer is built in Lesson 7.
Das geskriptete Modell spielt ein Modell, das einen Absatz zitiert, den es nicht bekommen hat. 05-functions#6 ist ein echter Absatz der Notiz über Funktionen, aber er war keine der drei Quellen, also kann das Modell ihn in dieser Anfrage nicht gelesen haben. parse_cited_answer lehnt die ganze Antwort ab, obwohl ihre erste Quellenangabe und ihr Text in Ordnung sind: Einer Antwort, die ihre Quellen falsch angibt, kann man insgesamt nicht vertrauen. Was als Nächstes passiert, entscheidet der Aufrufer. Das Abschlussprojekt in Kapitel 11 versucht es mit Rückmeldung noch einmal, wie Kapitel 4 bei ungültigen Quizzen; dieses Kapitel lässt den Fehler bis zum Aufrufer durch.
Die Antwort {"answer": "...", "citations": ["05-functions#6"]} besteht CitedAnswer.model_validate_json. Warum lehnt parse_cited_answer sie trotzdem ab?
Die Antwort lautet {"answer": "The sources do not say.", "citations": []}. Was macht parse_cited_answer?
Aufgabe
Ersetze in
answer_models.pydie ZeileCitedAnswer = Nonedurch ein Pydantic-Modellclass CitedAnswer(BaseModel):mit zwei Feldern ohne Standardwerte:answer: strundcitations: list[str].Ersetze in
retrieval.pyden unfertigen Rumpf vonparse_cited_answer(text, chunks). Validiere den Text mitCitedAnswer.model_validate_json(text)und lass jedenValidationErrorbis zum Aufrufer durch. Prüfe dann jede Quellenangabe der Reihe nach: Wenn sie nicht daschunk_labeleines derchunksist, löseValueError(f"The answer cites {citation}, which is not one of its sources.")aus. Andernfalls gib dieCitedAnswerzurück.
Eine leere Liste von Quellenangaben ist gültig. Führe python retrieval.py aus, um zu sehen, wie eine Antwort akzeptiert und eine abgelehnt wird, und prüfe dann deine Arbeit.