0%

Ein kleiner Agent · Übung

Nach einer festen Zahl von Schritten stoppen

Dein run_agent stoppt, wenn eine Antwort des Modells nichts anfordert. Sonst stoppt es nichts. Das geht gut, solange sich das Modell benimmt, und wird zum Problem, sobald es das zum ersten Mal nicht tut.

Ein Modell, das immer weiter anfordert

Das geskriptete Modell kann sich absichtlich danebenbenehmen. scenario_client("tool-loop") aus client_calls.py gibt einen Client zurück, der bei jeder Anfrage den Header X-Scripted-Scenario: tool-loop mitschickt. In diesem Szenario fordert jede Antwort des Modells denselben Tool-Aufruf erneut an, egal wie viele Runden das Gespräch schon enthält. Für die Frage zu Fehlern ist das list_notes mit {}, endlos. MODEL_SERVICE.md beschreibt das.

Ein Live-Modell ist nicht dafür gebaut, in einer Schleife zu hängen, aber es kann trotzdem passieren: Ein Tool liefert immer wieder einen Fehler, den das Modell nicht versteht, ein Ergebnis enthält nie das Erhoffte, oder das Modell verliert einfach den Faden. Das Szenario steht stellvertretend für solche Fälle und ist wiederholbar, damit du dagegen testen kannst.

Schick die Frage zu Fehlern über diesen Client an dein aktuelles run_agent, und es kehrt nie zurück. Jede Runde fügt dem Gespräch eine Assistant-Nachricht und eine Liste der Notizen hinzu, also ist jede Anfrage größer als die vorige, und die Schleife bezahlt dafür, bis jemand das Programm anhält. Eine while True:-Schleife braucht einen Ausgang, den das Programm kontrolliert und der nicht davon abhängt, was das Modell sagt.

Zähle die Schritte

Ein Schritt ist ein Modellaufruf: eine Anfrage und die Antwort darauf. Die einfachste Garantie ist ein Limit für die Zahl der Schritte.

run_agent bekommt einen weiteren Keyword-only-Parameter, max_steps, nach system:

def run_agent(question, *, client, tools, system, max_steps):

Innerhalb der Funktion:

  1. Starte vor der Schleife einen Zähler: steps = 0.

  2. Zähle nach jedem Aufruf von create eins dazu: steps += 1.

  3. Nach dem Lesen der Aufrufe gibt eine Antwort ohne Aufrufe wie bisher "answered" zurück.

  4. Eine Antwort, die Tools anfordert, wird als Nächstes geprüft. Wenn steps >= max_steps gilt, gib {"answer": "", "stop_reason": "max_steps", "messages": messages} zurück.

  5. Andernfalls füge wie bisher die Assistant-Nachricht und die Tool-Ergebnisse hinzu und starte die nächste Runde.

Die Reihenfolge in den Schritten 3 und 4 ist wichtig. Mit max_steps=3 ist eine dritte Antwort des Modells, die die Frage beantwortet, trotzdem die eigentliche Antwort, also wird sie zurückgegeben. Gestoppt wird nur eine Antwort des Modells, die einen vierten Schritt will.

Die Aufrufe einer gestoppten Antwort laufen nie. Das hätte keinen Sinn: Ihre Ergebnisse wären nur in einer vierten Anfrage nützlich, und die verbietet das Limit. Aus demselben Grund wird die Assistant-Nachricht der gestoppten Antwort nicht zu messages hinzugefügt. Das Gespräch, das du zurückgibst, endet mit den letzten Tool-Ergebnissen, genau so, wie es zuletzt gesendet wurde. Es enthält also nie eine Tool-Anforderung ohne deren Ergebnisse.

Verwende >=, nicht ==. Beides funktioniert, solange steps um eins wächst, aber >= gilt auch dann noch, wenn eine spätere Änderung an der Schleife einmal eine Zahl überspringt.

Ausführen

Führe python agent.py aus. Die Demonstration übergibt jetzt max_steps=6 an die Frage zu Fehlern und stellt sie dann noch einmal über scenario_client("tool-loop") mit max_steps=3:

The agent loop:
stop_reason: answered
answer: The errors note says that a finally block always runs, whether or not an exception was raised. An else block, by contrast, runs only when nothing was raised. (07-errors)
The conversation has 7 messages.
A model that keeps asking, with max_steps=3:
stop_reason: max_steps
The conversation has 6 messages.
Run stopped at the next function to build: run_agent gets its max_tokens_total parameter in Lesson 4.

Der erste Lauf braucht drei Schritte und hat sechs, also ändert das Limit nichts. Der zweite stellt drei Anfragen und stoppt. Seine sechs Nachrichten sind die Systemnachricht, die Frage und zwei Runden aus einer Assistant-Nachricht mit ihrem Tool-Ergebnis; die Anforderung von list_notes in der dritten Antwort wurde verworfen.

Wie viele Schritte du erlaubst, ist eine Abwägung. Zu wenige, und eine Frage, die mehrere Nachschlagevorgänge braucht, bekommt keine Antwort; zu viele, und ein festgefahrenes Modell verschwendet Aufrufe, bevor das Limit greift. Das Projekt verwendet 6 für den Lernassistenten, doppelt so viele, wie seine Fragen brauchen.

max_steps ist 3, und die dritte Antwort des Modells beantwortet die Frage ohne Tool-Aufrufe. Was gibt run_agent zurück?

Mit max_steps=3 fordert die dritte Antwort read_note an. Was passiert mit diesem Aufruf?

Aufgabe

Gib run_agent in agent.py einen Keyword-only-Parameter max_steps, nach system.

  • Zähle die Schritte: Ein Schritt ist ein Aufruf von create. Beginne bei 0 und zähle nach jedem Aufruf 1 dazu.

  • Eine Antwort ohne Tool-Aufrufe gibt wie bisher "answered" zurück, auch im letzten erlaubten Schritt.

  • Wenn nach einer Antwort, die Tools anfordert, der Zähler max_steps erreicht hat, gib {"answer": "", "stop_reason": "max_steps", "messages": messages} zurück, ohne diese Aufrufe auszuführen und ohne ihre Assistant-Nachricht hinzuzufügen.

  • Andernfalls führe wie bisher die Aufrufe aus und starte die nächste Runde.

Führe python agent.py aus, um das endlos anfordernde Modell nach drei Anfragen zu stoppen, und prüfe dann deine Arbeit.