0%

Abschlussprojekt · Übung

Die Quellen von ask mit dem abgleichen, was die Tools zurückgegeben haben

ask antwortet mit dem Agenten: Das Modell entscheidet, wonach es sucht, liest die Passagen, die search_notes zurückgibt, und endet mit einer JSON-Antwort, die die Labels der verwendeten Passagen nennt. Bevor das Programm diese Labels nach Sources: ausgibt, muss es sie prüfen.

Kapitel 8 hatte dasselbe Problem und eine einfache Prüfung. answer_from_notes hat die Passagen selbst ausgewählt und in den Prompt gesetzt, und parse_cited_answer hat jede Quellenangabe abgelehnt, die nicht eines ihrer Labels war. In ask gibt es keine solche Liste im Voraus. Das Modell hat entschieden, wonach es sucht, vielleicht mehr als einmal. Der einzige Beleg dafür, was ihm gezeigt wurde, ist der Trace des Agenten.

Wo die Labels stehen

Jeder Eintrag des Traces, den run_agent zurückgibt, ist ein Dictionary wie dieses aus dem ersten Schritt der Kopierfrage:

{
    "step": 1,
    "tokens": 159,
    "tool_calls": [{"id": "call_1_1", "name": "search_notes", "arguments": '{"query": "independent copy of a list"}'}],
    "results": ["[03-lists#4] Because a list is changed in place, ...\n\n[01-variables#2] Assignment does not copy anything. ...\n\n[04-loops#7] Avoid adding or removing items ..."],
}

results enthält den Text, den jedes Tool zurückgegeben hat, in derselben Reihenfolge wie tool_calls. Ein Ergebnis von search_notes ist das format_sources aus Kapitel 8 für die besten Passagen: Jede Passage beginnt mit ihrem Label in eckigen Klammern, und die Passagen sind durch eine Leerzeile getrennt, "\n\n". Die Labels, die das Modell zitieren darf, sind also die eingeklammerten Labels am Anfang jedes Blocks jedes search_notes-Ergebnisses, über alle Schritte des Laufs hinweg.

Drei Arten von Ergebnissen haben keine Labels, und die Prüfung muss sie in Ruhe lassen:

  • No note matches that search., das gibt search_notes zurück, wenn keine Passage ein Wort mit der Suchanfrage gemeinsam hat;

  • ein Fehlerergebnis, etwa Error: search_notes needs a query string, such as copying a list.;

  • ein Ergebnis von read_note. Eine ganze Notiz könnte sogar mit [ beginnen, aber sie ist keine Passage und hat kein Label. Die Regel lautet: Zitiert werden darf nur eine Passage, die eine Suche zurückgegeben hat.

Noch ein Fall: Wenn der Agent bei einem Schritt aufhört, der Tools angefordert hat, wegen max_steps oder eines wiederholten Aufrufs, wurden die Aufrufe dieses Schritts nie ausgeführt. Sein Eintrag hat tool_calls, aber keine results. Geh die Ergebnisse nach Position durch, mit range(len(results)), dann wird ein Aufruf ohne Ergebnis ohne Sonderfall übersprungen.

trace_labels

trace_labels(trace) gibt die Labels in der Reihenfolge zurück, in der sie gekommen sind, Wiederholungen eingeschlossen:

  1. Beginne mit einer leeren Liste.

  2. Nimm für jeden Eintrag seine tool_calls und seine results, und sieh dir für jeden index in range(len(results)) den Aufruf mit demselben Index an.

  3. Wenn der name des Aufrufs "search_notes" ist, teile sein Ergebnis an "\n\n" auf. Für jeden Block, der mit [ beginnt und ] enthält, ist das Label der Text dazwischen: block[1:].split("]")[0]. block[1:] lässt die öffnende Klammer weg, und split("]")[0] behält, was vor der ersten schließenden steht, sodass ein späteres ] innerhalb der Passage keine Rolle spielt.

  4. Gib die Liste zurück.

Ein Block wie No note matches that search. beginnt nicht mit [ und fügt deshalb nichts hinzu.

check_answer

check_answer(text, labels) ersetzt für ask das parse_cited_answer aus Kapitel 8:

  1. Validiere die Antwort mit CitedAnswer.model_validate_json(text). Ist der Text kein gültiges JSON oder hat er nicht die richtige Form, löst das den ValidationError von pydantic aus. Lass ihn durch: Lektion 3 fängt ihn ab.

  2. Löse für jede Quellenangabe, der Reihe nach, ValueError(f"The answer cites {citation}, which no search result in this run contained.") aus, wenn sie nicht in labels steht. Nur die erste solche Quellenangabe wird genannt.

  3. Andernfalls gib die CitedAnswer zurück.

Eine Antwort mit leerer Liste von Quellenangaben besteht: „Die Notizen behandeln das nicht“ ist eine gültige Antwort, und sie zitiert nichts. Ein Lauf, der nie gesucht hat, hat keine Labels, also wird jede Quellenangabe darin abgelehnt.

Die Meldung sagt absichtlich „in this run“. Lektion 3 schickt sie als Rückmeldung an das Modell zurück, also sollte sie genau sagen, was falsch war.

Ausführen

Wenn beide Funktionen geschrieben sind, führe python stages.py aus. Der Block von Lektion 2 startet den Agenten für die Kopierfrage mit den Tools und der Systemnachricht von ask und gibt den Trace aus, die Labels, die seine eine Suche zurückgegeben hat, und was check_answer aus der letzten Antwort macht:

Lesson 2: the agent's run for the copy question
Step 1 (159 tokens)
  search_notes {"query": "independent copy of a list"} -> 763 characters
Step 2 (380 tokens)
  answered
Labels its searches returned: ['03-lists#4', '01-variables#2', '04-loops#7']
check_answer gave: CitedAnswer(answer='Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.', citations=['03-lists#4'])
Lesson 3: ask_command
--- How do I make an independent copy of a list?
Run stopped at the next function to build: ask_command is built in Lesson 3.

Die Suche hat drei Passagen zurückgegeben, und die Antwort zitiert eine davon, also besteht sie. Die Prüfung deiner Arbeit verwendet Traces, die du nicht gesehen hast: zwei Suchen in einem Schritt, Suchen über mehrere Schritte, eine Suche, die nichts gefunden hat, ein Ergebnis von read_note, einen Fehler und einen Schritt, dessen Aufrufe nie ausgeführt wurden.

Warum geht trace_labels jeden Eintrag mit range(len(results)) durch statt mit range(len(tool_calls))?

In einem Lauf hat die einzige Suche No note matches that search. zurückgegeben, dann hat das Modell read_note für 03-lists aufgerufen und mit einer Quellenangabe 03-lists#4 geantwortet. Was macht check_answer?

Aufgabe

Schreib in study_assistant.py zwei Funktionen.

trace_labels(trace): Beginne mit einer leeren Liste. Geh für jeden Eintrag des Traces seine tool_calls und results nach Position mit range(len(results)) durch. Teile bei einem Aufruf, dessen name "search_notes" ist, sein Ergebnis an "\n\n" auf, und hänge für jeden Block, der mit [ beginnt und ] enthält, block[1:].split("]")[0] an. Gib die Liste zurück, in Reihenfolge, Wiederholungen eingeschlossen.

check_answer(text, labels): Validiere text mit CitedAnswer.model_validate_json(text) und lass einen ValidationError durch. Löse für die erste Quellenangabe, die nicht in labels steht, ValueError(f"The answer cites {citation}, which no search result in this run contained.") aus. Andernfalls gib die Antwort zurück.

Führe python stages.py aus, um die Labels aus dem Lauf der Kopierfrage zu sehen, und prüfe dann deine Arbeit.