0%

Ein kleiner Agent · Übung

Erkennen, wenn der Agent feststeckt

Der Trace des tool-loop-Laufs aus Lektion 5 hat gezeigt, wie das Modell dreimal list_notes mit {} anfordert. Das Schrittlimit hat es gestoppt, aber erst nach zwei verschwendeten Schritten, und mit max_steps=6 hätte es fünf verschwendet. Der Trace enthält bereits, was das Programm braucht, um es früher zu bemerken.

Dieselbe Frage bekommt dieselbe Antwort

Ein Tool-Aufruf besteht aus einem Namen und einem Argumenttext. Wenn das Modell genau denselben Namen mit genau denselben Argumenten anfordert wie in einem früheren Schritt, ist das Ergebnis dasselbe wie beim letzten Mal, und es steht schon im Gespräch. Den Aufruf erneut auszuführen bringt keine neue Information. Ein Modell, das das tut, dreht sich im Kreis, und die Schleife kann es sofort stoppen, statt auf das Schrittlimit zu warten.

Das gilt nicht für jede Wiederholung in jedem Programm. Ein Tool, das die Uhrzeit liest, oder eine Datei, die ein anderes Programm ändert, könnte auf denselben Aufruf eine neue Antwort geben. Die Tools des Kurses lesen feste Notizen, also ist eine Wiederholung hier immer verschwendet.

Baue repeated_call

repeated_call(calls, trace) vergleicht die Aufrufe der aktuellen Antwort mit jedem Aufruf im Trace:

  1. Sammle die schon gemachten Aufrufe. Hänge für jeden Eintrag in trace und jeden Aufruf in seinen "tool_calls" das Tupel (call["name"], call["arguments"]) an eine Liste an.

  2. Bilde für jeden Aufruf in calls dasselbe Tupel und prüfe, ob es in dieser Liste ist. Wenn ja, gib True zurück.

  3. Andernfalls gib False zurück.

Ein Tupel hält den Namen und die Argumente zusammen, also vergleicht in beides auf einmal: ("read_note", '{"note_id": "03-lists"}') passt nur zum selben Tool mit denselben Argumenten. Dasselbe Tool mit anderen Argumenten ist eine neue Frage, und ein anderes Tool mit denselben Argumenten auch.

Die Argumente werden als Text verglichen. Das ist exakt und einfach, und es ist das, was das geskriptete Modell sendet. Ein Live-Modell könnte dasselbe mit anders gesetzten Leerzeichen im JSON anfordern, {"note_id":"03-lists"} statt {"note_id": "03-lists"}, und die Texte würden nicht übereinstimmen. Beide vor dem Vergleich mit json.loads zu dekodieren würde das erkennen. Das Schrittlimit fängt weiterhin alles ab, was durchrutscht.

Verwende es in der Schleife

Rufe in run_agent repeated_call(calls, trace) direkt nach dem Lesen der Aufrufe auf, bevor du den Eintrag des aktuellen Schritts an trace anhängst. Die aktuelle Antwort darf nur mit früheren Schritten verglichen werden. Hängst du zuerst an, passt jeder Aufruf zu sich selbst, und der Agent steckt immer fest.

Gib dann nach einer Antwort, die Tools anfordert, {"answer": "", "stop_reason": "stuck", "trace": trace, "messages": messages} zurück, wenn sie einen Aufruf wiederholt. Setze diese Prüfung hinter die Budgetprüfung und vor das Schrittlimit. Wenn sich ein Modell in seinem letzten erlaubten Schritt wiederholt, sagt "stuck", was schiefgelaufen ist; "max_steps" würde nur sagen, dass ihm die Schritte ausgegangen sind. Die wiederholten Aufrufe laufen nicht.

Zwei identische Aufrufe in derselben Antwort, ohne etwas Gleiches in früheren Schritten, sind nach dieser Regel keine Wiederholung: Keiner der beiden Aufrufe wurde schon beantwortet.

Ausführen

Führe python agent.py aus. Die Demonstration sendet die Frage zu Fehlern jetzt über scenario_client("tool-loop") mit max_steps=6 und gibt den Trace aus:

A model that keeps asking, with max_steps=6:
Step 1 (48 tokens)
  list_notes {} -> 140 characters
Step 2 (83 tokens)
  list_notes {} (not run)
stop_reason: stuck

Zwei Anfragen statt sechs, und 131 Tokens statt dessen, was vier weitere wachsende Schritte kosten würden. Der frühere tool-loop-Lauf in der Ausgabe, der mit max_steps=3, stoppt jetzt genauso nach zwei Schritten.

run_agent hat jetzt drei Sicherungen: ein Schrittlimit, ein Budget und eine Prüfung auf Wiederholungen. Sie stehen in der Schleife in der Reihenfolge, in der du sie hinzugefügt hast. Das Projekt zieht sie in eine Funktion heraus, damit die Reihenfolge sichtbar und testbar ist.

Schritt 1 hat read_note mit {"note_id": "03-lists"} aufgerufen. Bei welchem Aufruf in Schritt 2 gibt repeated_call True zurück?

Warum muss run_agent repeated_call aufrufen, bevor es den Eintrag des aktuellen Schritts an den Trace anhängt?

In Schritt 2 fordert ein Live-Modell read_note mit {"note_id":"03-lists"} an, ohne Leerzeichen. Schritt 1 hatte {"note_id": "03-lists"}. Was gibt repeated_call zurück, und warum?

Aufgabe

Ersetze in agent.py den unfertigen Rumpf von repeated_call(calls, trace) und verwende die Funktion dann in run_agent.

  • repeated_call gibt True zurück, wenn irgendein Aufruf in calls denselben Namen und denselben Argumenttext hat wie ein Aufruf in irgendeinem Eintrag von trace, und sonst False. Sammle (name, arguments)-Tupel aus dem Trace und prüfe jeden Aufruf mit in.

  • Rufe in run_agent repeated_call(calls, trace) auf, bevor du den Eintrag des aktuellen Schritts anhängst, damit ein Aufruf nur mit früheren Schritten verglichen wird.

  • Gib nach einer Antwort, die Tools anfordert, "stuck" zurück, wenn sie einen Aufruf wiederholt: nach der Budgetprüfung, vor dem Schrittlimit. Führe die Aufrufe nicht aus.

Führe python agent.py aus, um das endlos anfordernde Modell nach zwei Anfragen zu stoppen, und prüfe dann deine Arbeit.