0%

Ein kleiner Agent · Übung

Stoppen, wenn das Budget aufgebraucht ist

Das Schrittlimit garantiert, dass run_agent endet. Über die Kosten eines Laufs sagt es nichts. Sechs kleine Schritte und sechs Schritte, die jeweils drei ganze Notizen mit sich tragen, zählen gleich, und der zweite Lauf kann ein Vielfaches an Tokens des ersten verbrauchen.

Wohin die Tokens gehen

Jede Antwort des Modells meldet ihre Größe in response.usage, wie in Kapitel 1: prompt_tokens für das Gesendete, completion_tokens für das, was zurückkam, und total_tokens für beides. Ein Anbieter rechnet nach diesen Zahlen ab.

Hier noch einmal die Frage zu Fehlern, Schritt für Schritt, so wie das geskriptete Modell zählt:

SchrittWas die Anfrage mit sich trägttotal_tokensLaufende Summe
1Systemnachricht und Frage4848
2dasselbe, plus die Assistant-Nachricht und die Liste der Notizen89137
3dasselbe, plus die Assistant-Nachricht und die ganze Notiz über Fehler454591

Der dritte Schritt kostet mehr als die ersten beiden zusammen, weil die Anfrage alles mit sich trägt, was das Gespräch gesammelt hat. Das ist das zweite Risiko aus Lektion 1: Jede Runde kostet mehr als die vorige, und ein langer Lauf wächst schnell.

Die Zählung des geskripteten Modells ist eine Näherung. Wie SCRIPTED_MODEL.md sagt, zählt es die Zeichen der Nachrichtentexte und teilt durch vier. Ein echter Anbieter zählt seine eigenen Tokens und berechnet auch die Tool-Beschreibungen, die das geskriptete Modell ignoriert. Um die Regel zu lernen, reichen die Zahlen. Die Assistant-Nachrichten, die Tools anfordern, haben keinen Textinhalt, deshalb zählt das geskriptete Modell sie als nichts.

Stoppe bei einem Budget

run_agent bekommt einen weiteren Keyword-only-Parameter, max_tokens_total, nach max_steps. Innerhalb der Funktion:

  1. Starte vor der Schleife eine laufende Summe: used = 0.

  2. Addiere nach jedem Aufruf die Tokens der Antwort: used += response.usage.total_tokens.

  3. Eine Antwort ohne Tool-Aufrufe gibt weiterhin "answered" zurück.

  4. Eine Antwort, die Tools anfordert, wird zuerst gegen das Budget geprüft. Wenn used >= max_tokens_total gilt, gib {"answer": "", "stop_reason": "budget", "messages": messages} zurück.

  5. Danach kommt wie bisher das Schrittlimit.

Das Budget wird vor dem Schrittlimit geprüft. Wenn dieselbe Antwort beide erreicht, sagt der Grund, dass das Geld ausgegangen ist, und das ist für den Aufrufer das Wichtigere.

Beachte, was die Prüfung nicht kann. Die Größe des nächsten Aufrufs ist erst bekannt, wenn er gemacht wurde, also kann die Schleife nur auf das schauen, was schon verbraucht ist. Ein Lauf kann über seinem Budget enden, weil die Antwort, die die Grenze überschritten hat, schon bezahlt ist. Die Summe zählt, was wirklich verbraucht wurde, einschließlich dieser Antwort. Und wie beim Schrittlimit wird eine eigentliche Antwort, die das Budget überschreitet, trotzdem zurückgegeben: Sie ist schon bezahlt, und für sie war der Lauf da.

Kapitel 9 ersetzt diese Zählung durch ein Budget, das sich alle Modellaufrufe teilen und das vor jedem Aufruf geprüft wird, und die Tests in Kapitel 10 verwenden diese endgültige Version von run_agent.

Ausführen

Führe python agent.py aus. Die Demonstration übergibt jetzt max_tokens_total=2000 an die früheren Läufe und stellt zusätzlich die Frage zu Fehlern mit max_tokens_total=100:

A budget of 100 tokens:
stop_reason: budget
The conversation has 4 messages.
Run stopped at the next function to build: run_agent returns a trace from Lesson 5.

Die Rechnung ist die Tabelle oben. Nach Schritt 1 ist die Summe 48, unter 100, also führt die Schleife list_notes aus und macht weiter. Nach Schritt 2 ist sie 137, also 37 über dem Budget, und die Schleife stoppt, ohne die Notiz zu lesen. Die vier Nachrichten sind die Systemnachricht, die Frage und eine Runde Tools. Mit einem Budget von 2000 wird dieselbe Frage beantwortet, bei 591.

max_tokens_total ist 100. Nach einer Antwort, die Tools anfordert, steht die laufende Summe auf genau 100. Was tut run_agent?

Warum kann ein Lauf mit einer Summe über max_tokens_total enden?

Aufgabe

Gib run_agent in agent.py einen Keyword-only-Parameter max_tokens_total, nach max_steps.

  • Führe eine laufende Summe, die bei 0 beginnt, und addiere jeweils response.usage.total_tokens jeder Antwort dazu.

  • Eine Antwort ohne Tool-Aufrufe gibt weiterhin "answered" zurück, auch wenn sie die Summe über das Limit gebracht hat.

  • Wenn nach einer Antwort, die Tools anfordert, die Summe max_tokens_total erreicht hat, gib {"answer": "", "stop_reason": "budget", "messages": messages} zurück. Prüfe das vor dem Schrittlimit, und führe die Aufrufe nicht aus.

Führe python agent.py aus, um zu sehen, wie ein Budget von 100 Tokens die Frage zu Fehlern stoppt, und prüfe dann deine Arbeit.