Ein kleiner Agent · Übung
Erkennen, wenn der Agent feststeckt
Der Trace des tool-loop-Laufs aus Lektion 5 hat gezeigt, wie das Modell dreimal list_notes mit {} anfordert. Das Schrittlimit hat es gestoppt, aber erst nach zwei verschwendeten Schritten, und mit max_steps=6 hätte es fünf verschwendet. Der Trace enthält bereits, was das Programm braucht, um es früher zu bemerken.
Dieselbe Frage bekommt dieselbe Antwort
Ein Tool-Aufruf besteht aus einem Namen und einem Argumenttext. Wenn das Modell genau denselben Namen mit genau denselben Argumenten anfordert wie in einem früheren Schritt, ist das Ergebnis dasselbe wie beim letzten Mal, und es steht schon im Gespräch. Den Aufruf erneut auszuführen bringt keine neue Information. Ein Modell, das das tut, dreht sich im Kreis, und die Schleife kann es sofort stoppen, statt auf das Schrittlimit zu warten.
Das gilt nicht für jede Wiederholung in jedem Programm. Ein Tool, das die Uhrzeit liest, oder eine Datei, die ein anderes Programm ändert, könnte auf denselben Aufruf eine neue Antwort geben. Die Tools des Kurses lesen feste Notizen, also ist eine Wiederholung hier immer verschwendet.
Baue repeated_call
repeated_call(calls, trace) vergleicht die Aufrufe der aktuellen Antwort mit jedem Aufruf im Trace:
Sammle die schon gemachten Aufrufe. Hänge für jeden Eintrag in
traceund jeden Aufruf in seinen"tool_calls"das Tupel(call["name"], call["arguments"])an eine Liste an.Bilde für jeden Aufruf in
callsdasselbe Tupel und prüfe, ob esindieser Liste ist. Wenn ja, gibTruezurück.Andernfalls gib
Falsezurück.
Ein Tupel hält den Namen und die Argumente zusammen, also vergleicht in beides auf einmal: ("read_note", '{"note_id": "03-lists"}') passt nur zum selben Tool mit denselben Argumenten. Dasselbe Tool mit anderen Argumenten ist eine neue Frage, und ein anderes Tool mit denselben Argumenten auch.
Die Argumente werden als Text verglichen. Das ist exakt und einfach, und es ist das, was das geskriptete Modell sendet. Ein Live-Modell könnte dasselbe mit anders gesetzten Leerzeichen im JSON anfordern, {"note_id":"03-lists"} statt {"note_id": "03-lists"}, und die Texte würden nicht übereinstimmen. Beide vor dem Vergleich mit json.loads zu dekodieren würde das erkennen. Das Schrittlimit fängt weiterhin alles ab, was durchrutscht.
Verwende es in der Schleife
Rufe in run_agent repeated_call(calls, trace) direkt nach dem Lesen der Aufrufe auf, bevor du den Eintrag des aktuellen Schritts an trace anhängst. Die aktuelle Antwort darf nur mit früheren Schritten verglichen werden. Hängst du zuerst an, passt jeder Aufruf zu sich selbst, und der Agent steckt immer fest.
Gib dann nach einer Antwort, die Tools anfordert, {"answer": "", "stop_reason": "stuck", "trace": trace, "messages": messages} zurück, wenn sie einen Aufruf wiederholt. Setze diese Prüfung hinter die Budgetprüfung und vor das Schrittlimit. Wenn sich ein Modell in seinem letzten erlaubten Schritt wiederholt, sagt "stuck", was schiefgelaufen ist; "max_steps" würde nur sagen, dass ihm die Schritte ausgegangen sind. Die wiederholten Aufrufe laufen nicht.
Zwei identische Aufrufe in derselben Antwort, ohne etwas Gleiches in früheren Schritten, sind nach dieser Regel keine Wiederholung: Keiner der beiden Aufrufe wurde schon beantwortet.
Ausführen
Führe python agent.py aus. Die Demonstration sendet die Frage zu Fehlern jetzt über scenario_client("tool-loop") mit max_steps=6 und gibt den Trace aus:
A model that keeps asking, with max_steps=6:
Step 1 (48 tokens)
list_notes {} -> 140 characters
Step 2 (83 tokens)
list_notes {} (not run)
stop_reason: stuck
Zwei Anfragen statt sechs, und 131 Tokens statt dessen, was vier weitere wachsende Schritte kosten würden. Der frühere tool-loop-Lauf in der Ausgabe, der mit max_steps=3, stoppt jetzt genauso nach zwei Schritten.
run_agent hat jetzt drei Sicherungen: ein Schrittlimit, ein Budget und eine Prüfung auf Wiederholungen. Sie stehen in der Schleife in der Reihenfolge, in der du sie hinzugefügt hast. Das Projekt zieht sie in eine Funktion heraus, damit die Reihenfolge sichtbar und testbar ist.
Schritt 1 hat read_note mit {"note_id": "03-lists"} aufgerufen. Bei welchem Aufruf in Schritt 2 gibt repeated_call True zurück?
Warum muss run_agent repeated_call aufrufen, bevor es den Eintrag des aktuellen Schritts an den Trace anhängt?
In Schritt 2 fordert ein Live-Modell read_note mit {"note_id":"03-lists"} an, ohne Leerzeichen. Schritt 1 hatte {"note_id": "03-lists"}. Was gibt repeated_call zurück, und warum?
Aufgabe
Ersetze in agent.py den unfertigen Rumpf von repeated_call(calls, trace) und verwende die Funktion dann in run_agent.
repeated_callgibtTruezurück, wenn irgendein Aufruf incallsdenselben Namen und denselben Argumenttext hat wie ein Aufruf in irgendeinem Eintrag vontrace, und sonstFalse. Sammle(name, arguments)-Tupel aus dem Trace und prüfe jeden Aufruf mitin.Rufe in
run_agentrepeated_call(calls, trace)auf, bevor du den Eintrag des aktuellen Schritts anhängst, damit ein Aufruf nur mit früheren Schritten verglichen wird.Gib nach einer Antwort, die Tools anfordert,
"stuck"zurück, wenn sie einen Aufruf wiederholt: nach der Budgetprüfung, vor dem Schrittlimit. Führe die Aufrufe nicht aus.
Führe python agent.py aus, um das endlos anfordernde Modell nach zwei Anfragen zu stoppen, und prüfe dann deine Arbeit.