0%

Antwoorden uit je notities · oefening

Controleer of het antwoord echte bronnen vermeldt

Het model heeft 03-lists#4 vermeld. Moet je programma dat geloven? Het model koos dat label, en een model kan elke tekst schrijven, ook een label dat het nooit heeft gekregen. In deze les laat je het programma beslissen: het valideert de vorm van het antwoord met een pydantic-model en controleert daarna elke bronvermelding tegen de labels die het echt heeft verstuurd.

Schrijf CitedAnswer

Open answer_models.py. Het bevat de plaatshouder:

# Lesson 6: replace the next line with your CitedAnswer model.
CitedAnswer = None

Vervang beide regels door een pydantic-model in de vorm waarin je in hoofdstuk 4 QuizSet schreef: een klasseregel die BaseModel noemt, en één veld met een hint per sleutel van de JSON, zonder standaardwaarden, zodat beide verplicht zijn:

class CitedAnswer(BaseModel):
    answer: str
    citations: list[str]

retrieval.py importeert CitedAnswer uit dit bestand, dus sla het op voordat je python retrieval.py uitvoert.

Geldig is niet hetzelfde als waar

CitedAnswer.model_validate_json(text) controleert de vorm, zoals QuizSet.model_validate_json in hoofdstuk 4 deed: de tekst moet JSON zijn, answer moet een string zijn en citations een lijst strings. Elke andere tekst werpt ValidationError op, die parse_cited_answer doorlaat naar de aanroeper.

Een antwoord kan die controle doorstaan en toch 05-functions#6 vermelden terwijl je 05-functions#5, 01-variables#2 en 05-functions#4 hebt verstuurd. De vorm klopt; de bronvermelding is niet echt. Een vast model zoals CitedAnswer kan dat niet afvangen, omdat bij elk request andere labels echt zijn. Je programma weet precies welke fragmenten het heeft verstuurd, dus het kan dat wel.

Bouw parse_cited_answer

parse_cited_answer(text, chunks), waarbij chunks de fragmenten zijn die verstuurd zijn:

  1. answer = CitedAnswer.model_validate_json(text). Geen try: een ValidationError moet de aanroeper bereiken.

  2. Bouw met chunk_label de lijst met labels van chunks.

  3. Voor elke bronvermelding in answer.citations, op volgorde: als die niet in die lijst staat, raise ValueError(f"The answer cites {citation}, which is not one of its sources."). De eerste onbekende bronvermelding stopt de controle.

  4. Geef answer terug.

Vergelijk hele labels. Als je controleert of de bronvermelding ergens in de tekst met bronnen voorkomt, komen 03-lists of lists erdoor, en een bronvermelding met haken is ook geen label: GROUNDED_SYSTEM vraagt om labels zonder haken.

Een lege lijst citations komt erdoor. Zo zegt het model dat de bronnen de vraag niet beantwoorden, zoals GROUNDED_SYSTEM het opdraagt. Een programma dat dat weigert, straft het model voor eerlijkheid.

Voer het uit

Voer python retrieval.py uit. De demonstratie controleert het antwoord op de kopieervraag en stuurt daarna de vraag over het standaardargument, “Why should a default argument never be a list?”, met de beste drie fragmenten:

parse_cited_answer accepted it. Citations: ['03-lists#4']
The default-argument question, sent with 05-functions#5, 01-variables#2, 05-functions#4:
{"answer": "The default is created once, when the function is defined, so every call that relies on it shares the same list. Use None as the default and create a new list inside the function.", "citations": ["05-functions#5", "05-functions#6"]}
parse_cited_answer refused it: The answer cites 05-functions#6, which is not one of its sources.
Should the model be asked?
Run stopped at the next function to build: should_answer is built in Lesson 7.

Het gescripte model speelt een model dat een alinea vermeldt die het niet heeft gekregen. 05-functions#6 is een echte alinea van de functienotitie, maar hij was niet een van de drie bronnen, dus het model kan hem in dit request niet gelezen hebben. parse_cited_answer weigert het hele antwoord, ook al zijn de eerste bronvermelding en de tekst in orde: een antwoord dat zijn bronnen verkeerd opgeeft, kun je als geheel niet vertrouwen. Wat er daarna gebeurt, is aan de aanroeper. Het eindproject in hoofdstuk 11 probeert het nog één keer met feedback, zoals hoofdstuk 4 deed bij ongeldige quizzen; dit hoofdstuk laat de fout de aanroeper bereiken.

Het antwoord {"answer": "...", "citations": ["05-functions#6"]} komt door CitedAnswer.model_validate_json. Waarom weigert parse_cited_answer het toch?

Het antwoord is {"answer": "The sources do not say.", "citations": []}. Wat doet parse_cited_answer?

Opdracht

  • Vervang in answer_models.py CitedAnswer = None door een pydantic-model class CitedAnswer(BaseModel): met twee velden zonder standaardwaarden: answer: str en citations: list[str].

  • Vervang in retrieval.py de onafgemaakte body van parse_cited_answer(text, chunks). Valideer de tekst met CitedAnswer.model_validate_json(text) en laat elke ValidationError de aanroeper bereiken. Controleer daarna elke bronvermelding, op volgorde: als die niet het chunk_label van een van de chunks is, werp dan ValueError(f"The answer cites {citation}, which is not one of its sources.") op. Geef anders de CitedAnswer terug.

Een lege lijst met bronvermeldingen is geldig. Voer python retrieval.py uit om één antwoord geaccepteerd en één geweigerd te zien, en controleer daarna je werk.