Wenn etwas schiefgeht · Übung
Quiz- und Agentenaufrufe durch den Wrapper leiten
call_model funktioniert, aber noch verwendet es nichts im Lernassistenten. Das Quiz läuft weiterhin über die Parse-Hilfsfunktion aus Kapitel 5, und die Schleife des Agenten ruft client.chat.completions.create weiterhin selbst auf, mit einer eigenen Tokenzählung. Diese Lektion stellt beide auf call_model um, sodass sie seine erneuten Versuche, seine Grenzen für Zeit und Länge und ein gemeinsames Budget bekommen.
Teil 1: das Quiz
make_quiz aus Kapitel 5 hat die Parse-Hilfsfunktion nach einem QuizSet gefragt. Die Hilfsfunktion hat in einem Aufruf drei Dinge erledigt: Sie hat ein striktes JSON-Schema als response_format gesendet, den Finish-Reason geprüft und die Antwort validiert. Das neue make_quiz(note_text, *, client, budget, sleep) erledigt dieselben drei Dinge über call_model:
request = {"model": MODEL, "messages": quiz_messages(note_text), "response_format": QUIZ_FORMAT}
response = call_model(request, client=client, sleep=sleep, max_attempts=MAX_ATTEMPTS, budget=budget)
QUIZ_FORMAT, vorgegeben weit oben in reliable.py, ist genau das response_format, das die Parse-Hilfsfunktion in Kapitel 5, Lektion 4 für QuizSet gesendet hat, sodass ein Live-Modell dasselbe strikte Schema sieht. call_model sendet es zusammen mit jedem anderen Schlüssel über create. Dann validiert make_quiz den Inhalt der Antwort mit QuizSet.model_validate_json(content) und gibt das QuizSet zurück.
Der Abschied von der Hilfsfunktion bringt drei Vorteile:
Bei einer Antwort, die die Validierung nicht besteht, wurden die Tokens trotzdem gezählt, weil
call_modelsie erfasst hat, bevormake_quizden Text angesehen hat. Die Hilfsfunktion hat ausgelöst, bevor dein Code irgendeinen Verbrauch zu sehen bekam.Eine abgeschnittene Antwort kommt als
ReplyCutOffan, wie bei jedem anderen Aufruf im Lernassistenten, statt alsLengthFinishReasonErrorder Hilfsfunktion.Der erneute Versuch kann dem Modell seine fehlerhafte Antwort zeigen. Bei
ValidationErrorbaust du die Anfrage für den erneuten Versuch mitretry_request(request, content, error)aus Kapitel 4, das die Anfrage kopiert und die fehlerhafte Antwort als Assistant-Nachricht und das Feedback als User-Nachricht hinzufügt, und sendest sie noch einmal übercall_model. Ist auch diese Antwort ungültig, lass ihrenValidationErrorden Aufrufer erreichen: Ein einziger korrigierender erneuter Versuch ist die Regel aus Kapitel 4.
Ein Fall wird nicht erneut versucht. Wenn der Inhalt der Antwort None ist, bei einer Ablehnung oder einer Antwort ohne Text, löse sofort ValueError("The model sent no quiz text.") aus. Das ist die Gruppe „Aufgeben und melden“ aus Lektion 1. Ein erneuter Versuch würde außerdem eine Assistant-Nachricht ohne Inhalt und ohne Tool-Aufrufe senden, und die lehnen Dienste ab. Die zweite Antwort braucht keine solche Prüfung: QuizSet.model_validate_json(None) löst selbst ValidationError aus.
Teil 2: der Agent
run_agent in reliable.py ist die fertige Schleife aus Kapitel 7. Sie ändert sich an vier Stellen, der Rest bleibt, wie er ist:
Die Signatur.
max_tokens_totalfällt weg, undbudgetundsleepkommen hinzu:run_agent(question, *, client, tools, system, approve, max_steps, budget, sleep). Das ist die endgültige Signatur, die Kapitel 10 und 11 aufrufen.Jeder Schritt baut eine Anfrage und sendet sie mit
MAX_ATTEMPTSübercall_model:request = {"model": MODEL, "messages": messages, "tools": descriptions}call_oncefügtmax_tokenshinzu, und ein429mitten in einem Lauf wird jetzt mitsleeperneut versucht, statt den Lauf zu beenden.call_modelkannBudgetExceededauslösen, bevor ein Schritt gesendet wird. Fang ihn, und nur ihn, rund um den Aufruf ab und gib{"answer": "", "stop_reason": "budget", "trace": trace, "messages": messages}zurück. Der abgelehnte Schritt ist nie gelaufen, also steht er nicht im Trace, undmessagesist das, was gesendet worden wäre.Entferne den alten
used-Zähler.stop_reasonbekommtbudget["used"]undbudget["limit"]dort, wo es vorher die alte Summe und das alte Limit bekam, sodass eine Antwort, die das gemeinsame Budget an sein Limit bringt, die Schleife weiterhin mit"budget"beendet.
ReplyCutOff und jeder Modellfehler, den call_model auslöst, werden nicht abgefangen: Sie erreichen den Aufrufer. descriptions kommt weiterhin aus describe_tools(tools, AGENT_DESCRIPTIONS), und AGENT_DESCRIPTIONS in reliable.py beschreibt jetzt auch search_notes aus Kapitel 8, das der Agent im Abschlussprojekt verwendet.
Kapitel 7, Lektion 4 hat diese Änderung angekündigt. Sein Zähler gehörte zu einem einzigen Lauf und konnte das Limit erst nach einer Antwort bemerken. Jetzt deckt ein Budget jeden Aufruf ab: Ein Quiz, ein Agentenlauf und ein Chat können sich ein Dictionary teilen, und jeder Schritt wird abgelehnt, bevor er gesendet wird, wenn er möglicherweise nicht passt.
Ausführen
Wenn beide geschrieben sind, führe python chapter9_demo.py aus. Die Demonstration erstellt das Quiz für notes/03-lists.md und das Quiz für give me broken json mit einem Budget und lässt dann den Agenten mit READ_TOOLS und system=TOOLS_SYSTEM auf What does the note on errors say about finally? los, zuerst mit {"limit": 20000, "used": 0} und dann mit {"limit": 1200, "used": 0}:
A quiz through call_model:
1. For scores = [90, 72, 85], what is scores[-1]?
a) 90
b) 72
c) 85
2. What does scores.append(60) return?
a) The new list
b) None
c) 60
3. Which line makes an independent copy of scores?
a) backup = scores.copy()
b) backup = scores
c) backup = scores.append(0)
Answers: 1c, 2b, 3a
A quiz whose first reply is invalid:
1. What does len() return?
a) The number of items
b) The last item
c) The first item
Answers: 1a
Budget after both quizzes: {'limit': 20000, 'used': 808}
The agent with a budget of 20000:
stop_reason: answered, budget: {'limit': 20000, 'used': 591}
Step 1 (48 tokens)
list_notes {} -> 140 characters
Step 2 (89 tokens)
read_note {"note_id": "07-errors"} -> 1325 characters
Step 3 (454 tokens)
answered
The agent with a budget of 1200:
stop_reason: budget, budget: {'limit': 1200, 'used': 137}
Step 1 (48 tokens)
list_notes {} -> 140 characters
Step 2 (89 tokens)
read_note {"note_id": "07-errors"} -> 1325 characters
The study chat under rate-limit:1:
Run stopped at the next function to build: chat_turn is built in Lesson 9.
Das zweite Quiz hat zwei Aufrufe gebraucht, die ungültige Antwort und die korrigierte, und das Budget zählt alle drei Quizaufrufe. Mit 20000 Tokens antwortet der Agent nach drei Schritten, wie in Kapitel 7. Mit 1200 hält er vor Schritt 3 an. Die Schätzungen waren 844.25 für Schritt 1 und 879.25 für Schritt 2, beide innerhalb des Budgets. Nach Schritt 2 waren 137 Tokens verbraucht und 1063 übrig, und die Anfrage von Schritt 3 enthält die ganze Notiz über Fehler, also lag ihre Schätzung bei 1210.5. Der Schritt wurde abgelehnt, bevor er gesendet wurde.
Die Quizantwort kommt mit dem Inhalt None zurück. Was macht make_quiz?
Mit einem Budget von 1200 hat der Agent vor Schritt 3 mit "budget" angehalten. Was ist mit der Anfrage von Schritt 3 passiert?
Aufgabe
Ändere in reliable.py zwei Funktionen.
make_quiz(note_text, *, client, budget, sleep): Sende request = {"model": MODEL, "messages": quiz_messages(note_text), "response_format": QUIZ_FORMAT} mit max_attempts=MAX_ATTEMPTS über call_model. Wenn der Inhalt der Antwort None ist, löse ValueError("The model sent no quiz text.") aus. Andernfalls gib QuizSet.model_validate_json(content) zurück. Bei ValidationError sende retry_request(request, content, error) noch einmal über call_model und gib dessen validiertes Quiz zurück; ein zweiter ValidationError erreicht den Aufrufer.
run_agent: Ändere die Signatur zu run_agent(question, *, client, tools, system, approve, max_steps, budget, sleep). Sende jeden Schritt als {"model": MODEL, "messages": messages, "tools": descriptions} mit max_attempts=MAX_ATTEMPTS über call_model. Wenn das BudgetExceeded auslöst, gib {"answer": "", "stop_reason": "budget", "trace": trace, "messages": messages} zurück; fang sonst nichts ab. Übergib stop_reason die Werte budget["used"] und budget["limit"] statt der alten Summe und des alten Limits. Behalte alles andere aus Kapitel 7 bei.
Führe python chapter9_demo.py aus, um die Quizze und den Agenten unter einem Budget zu sehen, und prüfe dann deine Arbeit.