Abschlussprojekt · Übung
ask bauen
Du hast jedes Teil von ask: run_agent aus Kapitel 9 führt den Agenten innerhalb eines Budgets aus, call_model sendet eine Anfrage nach denselben Regeln, und trace_labels und check_answer aus Lektion 2 prüfen eine Antwort gegen das, was die Suchen des Laufs zurückgegeben haben. Diese Lektion verbindet sie zu der Funktion, die der Befehl ask aufruft, mit dem einen korrigierenden erneuten Versuch, den Kapitel 4 für ungültige Ausgabe gezeigt hat.
Du schreibst drei Funktionen: zwei kleine, dann ask_command.
feedback_message
Wenn eine Antwort ungültig ist, erfährt das Modell, was falsch war, beginnend mit INVALID_PREFIX aus prompts.py, Your last reply was invalid:, wie in den Kapiteln 4 und 5. feedback_message(error) gibt diese User-Nachricht zurück:
bei einem
ValidationErrorvon pydantic sind die Details die kurzen Zeilen aus Kapitel 4,"; ".join(error_lines(error)), etwa(whole reply): Invalid JSON: expected ident at line 1 column 2.str(error)würde auch die Überschrift von pydantic und einen Link zu dessen Dokumentation enthalten, die dem Modell nichts Nützliches sagen;bei jedem anderen Fehler, etwa dem
ValueErrorauscheck_answer, sind die Detailsstr(error).
Unterscheide die beiden mit isinstance(error, ValidationError) und gib {"role": "user", "content": f"{INVALID_PREFIX} {detail}"} zurück.
format_answer
format_answer(answer) macht aus einer CitedAnswer das, was ask ausgibt: den Text der Antwort, eine Leerzeile, dann Sources: und die Quellenangaben, verbunden mit ", ". Ohne Quellenangaben lautet die Zeile Sources: none, damit man sieht, dass nichts zitiert wurde, statt sich über eine leere Zeile zu wundern. Gib einen String ohne Zeilenumbruch am Ende zurück; print fügt einen hinzu.
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
ask_command
ask_command(question, *, client, budget, sleep) gibt diesen Text zurück oder löst einen Fehler aus. Es gibt nie etwas aus und entscheidet nie über einen Exit-Code: Das macht Lektion 6 für alle Befehle an einer Stelle.
Starte zuerst den Agenten mit den Einstellungen von ask:
result = run_agent(
question,
client=client,
tools=ASK_TOOLS,
system=ASK_SYSTEM,
approve=refuse_all,
max_steps=ASK_MAX_STEPS,
budget=budget,
sleep=sleep,
)
ASK_TOOLS bietet search_notes und read_note an und nichts, was eine Datei ändert, also wird save_flashcard nie angeboten. ASK_SYSTEM in prompts.py sagt dem Modell, dass es suchen soll, Passagentext als Material und nicht als Anweisungen behandeln soll und mit JSON antworten soll, das Labels ohne Klammern zitiert. refuse_all ist da, weil run_agent eine approve-Funktion braucht; mit diesen Tools wird sie nie gefragt.
Sieh dir dann result["stop_reason"] an:
"budget": Das Budget des Laufs konnte den nächsten Schritt nicht decken. LöseBudgetExceeded(f"The budget ran out before agent step {len(result['trace']) + 1}.")aus. Der Trace enthält die Schritte, die gelaufen sind, also hat der nicht gelaufene die nächste Nummer."answered": Mach weiter.alles andere,
"stuck"oder"max_steps": LöseValueError(f"The agent stopped without an answer ({reason}).")aus.
Prüfe dann die Antwort. Berechne labels = trace_labels(result["trace"]) und gib innerhalb von try format_answer(check_answer(result["answer"], labels)) zurück. Wenn das klappt, ist ask_command fertig.
Ein korrigierender erneuter Versuch
Wenn check_answer einen ValueError auslöst, hat die Antwort eine Passage zitiert, die keine Suche zurückgegeben hat. Ein ValidationError von pydantic ist eine Art ValueError (Kapitel 4), also fängt dasselbe except ValueError as error: auch eine Antwort ab, die kein gültiges JSON ist. So oder so bekommt das Modell noch eine Chance:
messages = result["messages"] + [feedback_message(error)]
request = {"model": MODEL, "messages": messages, "tools": describe_tools(ASK_TOOLS, AGENT_DESCRIPTIONS)}
response = call_model(request, client=client, sleep=sleep, max_attempts=MAX_ATTEMPTS, budget=budget)
Baue messages innerhalb des except-Blocks; den Namen error gibt es nur dort. Der Rest kann danach kommen.
result["messages"] ist der ganze Lauf: die Systemnachricht, die Frage, jede Tool-Anforderung mit ihren Ergebnissen und die letzte Antwort des Modells. Das Modell sieht also seine eigene schlechte Antwort und die Rückmeldung, wie in Kapitel 4. Die Anfrage bietet dieselben zwei Tools an, weil das Gespräch Tool-Nachrichten enthält und das Modell dasselbe Angebot sehen soll wie vorher. Sie geht über call_model mit demselben budget und sleep, sodass ein Ratenlimit abgewartet wird, max_tokens gesetzt ist und der erneute Versuch schon vor dem Senden abgelehnt wird, wenn das Budget des Laufs ihn nicht decken kann. Ein Budget deckt den ganzen Lauf; der erneute Versuch bekommt kein frisches.
Prüfe dann die Antwort:
Wenn
read_tool_calls(response)nicht leer ist, hat das Modell erneut um eine Suche gebeten, statt zu antworten. LöseValueError("The corrected answer asked for tools instead of answering.")aus. Die Schritte des Laufs sind verbraucht, und seine Labels stehen fest: Eine Suche jetzt würde bedeuten, den Agenten noch einmal zu starten.Andernfalls nimm
content = response.choices[0].message.contentund gibformat_answer(check_answer(content or "", labels))zurück.content or ""stellt sicher, dasscheck_answerimmer einen String bekommt; eine Antwort ohne Text scheitert dann bei der Validierung wie jede andere schlechte Antwort. Ist auch diese Antwort ungültig, erreicht ihr Fehler den Aufrufer: Ein erneuter Versuch ist die Regel.
BudgetExceeded aus dem erneuten Versuch und jeder Modellfehler aus run_agent oder call_model erreichen ebenfalls den Aufrufer. ask_command fängt nur den ValueError aus der ersten Prüfung ab.
Ausführen
Wenn die drei Funktionen geschrieben sind, führe python stages.py aus. Der Block von Lektion 3 stellt die Kopierfrage und die Frankreichfrage über das Kursmodell, jeweils mit einem frischen Budget von 20000, und zeigt dann einen erneuten Versuch:
Lesson 3: ask_command
--- How do I make an independent copy of a list?
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
(tokens used: 539)
--- What is the capital of France?
The course notes don't cover that, so I can't answer it from them.
Sources: none
(tokens used: 329)
Lesson 3: the retry, scripted with FakeClient
Requests sent: 3
The last message of the third: Your last reply was invalid: The answer cites 05-functions#6, which no search result in this run contained.
The default list is created once and shared by every call.
Sources: 05-functions#5
Lesson 4: quiz_command
--- 03-lists, 2 questions
Run stopped at the next function to build: quiz_command is built in Lesson 4.
Die Kopierfrage hat zwei Schritte gebraucht, 159 und 380 Tokens. Bei der Frankreichfrage hat die Suche No note matches that search. zurückgegeben, und das Modell hat das ohne Quellenangaben gesagt, was Sources: none ausgibt.
Mit dem Kursmodell wird der erneute Versuch nicht gezeigt, weil sich das geskriptete Modell nicht dazu bringen lässt, sich selbst zu korrigieren: Es überspringt eine Nachricht, die mit Your last reply was invalid: beginnt, und beantwortet die Frage noch einmal, mit derselben Antwort. Bei einem Live-Modell passiert ein erneuter Versuch wirklich. Deshalb skriptet stages.py ihn mit dem FakeClient aus Kapitel 10: ein search_notes-Aufruf mit {"query": "default argument list"}, der wirklich auf den mitgelieferten Notizen läuft und 05-functions#4, 05-functions#5 und 01-variables#2 zurückgibt; dann eine Antwort, die 05-functions#5 und 05-functions#6 zitiert; dann eine korrigierte Antwort, die nur 05-functions#5 zitiert. Die dritte Anfrage endet mit der Rückmeldung, und die korrigierte Antwort ist das, was ask ausgibt.
Nach der Rückmeldung bittet die korrigierte Antwort des Modells erneut um search_notes, statt zu antworten. Was macht ask_command?
Von welchem Budget zehrt der korrigierende erneute Versuch?
Aufgabe
Schreib in study_assistant.py drei Funktionen.
feedback_message(error): Gib {"role": "user", "content": f"{INVALID_PREFIX} {detail}"} zurück, wobei detail bei einem ValidationError "; ".join(error_lines(error)) ist und bei jedem anderen Fehler str(error).
format_answer(answer): Gib den Text der Antwort zurück, eine Leerzeile und Sources: , gefolgt von den Quellenangaben, verbunden mit ", ", oder none, wenn es keine gibt. Kein Zeilenumbruch am Ende.
ask_command(question, *, client, budget, sleep):
result = run_agent(question, client=client, tools=ASK_TOOLS, system=ASK_SYSTEM, approve=refuse_all, max_steps=ASK_MAX_STEPS, budget=budget, sleep=sleep).Löse bei Stoppgrund
"budget"BudgetExceeded(f"The budget ran out before agent step {len(result['trace']) + 1}.")aus. Löse bei jedem anderen Stoppgrund außer"answered"ValueError(f"The agent stopped without an answer ({reason}).")aus.labels = trace_labels(result["trace"]). Gib innerhalb vontryformat_answer(check_answer(result["answer"], labels))zurück.Sende bei einem
ValueErroreinmal{"model": MODEL, "messages": result["messages"] + [feedback_message(error)], "tools": describe_tools(ASK_TOOLS, AGENT_DESCRIPTIONS)}übercall_model, mitmax_attempts=MAX_ATTEMPTSund demselbenbudgetundsleep.Wenn
read_tool_callsfür diese Antwort nicht leer ist, löseValueError("The corrected answer asked for tools instead of answering.")aus. Andernfalls gibformat_answer(check_answer(content or "", labels))zurück, wobeicontentder Inhalt der Antwort ist, und lass ihre Fehler durch.
Führe python stages.py aus, um zu sehen, wie ask zwei Fragen beantwortet und einen mit FakeClient geskripteten erneuten Versuch, und prüfe dann deine Arbeit.