0%

Wenn etwas schiefgeht · Übung

Zuerst am eigenen Limit anhalten

Der Agent aus Kapitel 7 hat seine Tokens gezählt und aufgehört, sobald er zu viele verbraucht hatte. Dieser Zähler gehörte zu einem einzigen Lauf des Agenten, und er konnte das Problem erst bemerken, nachdem eine Antwort angekommen war. Der Lernassistent erstellt außerdem Quizze und führt Chats, und ein Anbieter berechnet sie alle. Wenn das einzige Limit die Rechnung des Anbieters oder das Tageslimit eines Live-Modells ist, merkt das Programm erst zu spät, dass es zu viel ausgegeben hat.

Diese Lektion gibt dem Programm ein eigenes Limit, das vor jedem Aufruf geprüft wird, bevor er gesendet wird.

Ein gemeinsames Budget

Das Budget ist ein einzelnes Dictionary:

budget = {"limit": 20000, "used": 0}

Jede Funktion, die das Modell aufruft, bekommt dasselbe Dictionary und ändert es direkt, sodass ein Quiz, ein Agentenlauf und ein Chat alle aus einem Topf ausgeben. Vor einem Aufruf prüft das Programm, ob der Aufruf in den Rest passen könnte. Danach addiert es, was der Aufruf wirklich verbraucht hat.

Eine Schätzung vor dem Aufruf

Bevor ein Aufruf gesendet wird, weiß niemand, wie viele Tokens er verbrauchen wird. Das Programm kann eine Obergrenze schätzen:

  • Der Text der Anfrage. Eine gängige Faustregel sind etwa vier Zeichen pro Token, also addiert das Programm die Zeichen jeder Nachricht, deren content ein String ist, und teilt durch 4. Eine Nachricht, die nach Tools gefragt hat, hat content None und wird übersprungen.

  • Die Antwort. Sie kann so lang wie max_tokens werden, also addiert die Schätzung request.get("max_tokens", DEFAULT_MAX_TOKENS), denselben Wert, den call_once sendet.

estimate_tokens(request) gibt diese Summe zurück. Sie kann Nachkommastellen haben: What is a Python list? hat 22 Zeichen, also ist die Schätzung 22 / 4 + 800, und das ist 805.5. Für einen Vergleich ist ein Bruch kein Problem. Teile mit / und runde nicht.

Das geskriptete Modell zählt prompt_tokens nach derselben Regel, rundet aber auf, sodass deine Schätzung des Texts nie mehr als ein Token unter seiner Zählung liegt. Echte Anbieter zählen mit ihrem eigenen Tokenizer, und sie zählen auch die Tool-Beschreibungen mit, die diese Schätzung weglässt. Sie ist eine Sicherung, keine Rechnung.

Prüfe, dann erfasse

check_budget(request, budget) berechnet den Rest, left = budget["limit"] - budget["used"], und löst das vorgegebene BudgetExceeded aus, wenn die Schätzung größer als left ist:

raise BudgetExceeded(f"Not enough budget for this call: {left} of {budget['limit']} tokens are left.")

Eine Schätzung, die genau left entspricht, passt noch. check_budget prüft nur; es ändert das Budget nicht.

record_usage(response, budget) addiert response.usage.total_tokens zu budget["used"]. Es ändert das Dictionary, das es bekommen hat, und gibt nichts zurück, sodass jeder Aufrufer, der dasselbe Dictionary hält, die neue Summe sieht.

Die Reserve für max_tokens bestimmt die Schätzung. What is a Python list? hat insgesamt 48 Tokens verbraucht, braucht aber 805.5 Tokens Platz, weil die Antwort 800 Tokens lang hätte sein können. Das ist Absicht: Die Prüfung muss auch für die längste Antwort halten, die die Anfrage erlaubt.

Ausführen

Wenn die drei Funktionen geschrieben sind, führe python chapter9_demo.py aus. budget_demo aus der Demonstration sendet What is a Python list? immer wieder mit deinen Funktionen check_budget, call_once und record_usage, beginnend bei {"limit": 1000, "used": 0}, bis das Budget ablehnt:

The same question until the budget refuses it:
  Call 1: estimate 805.5, budget now {'limit': 1000, 'used': 48}
  Call 2: estimate 805.5, budget now {'limit': 1000, 'used': 96}
  Call 3: estimate 805.5, budget now {'limit': 1000, 'used': 144}
  Call 4: estimate 805.5, budget now {'limit': 1000, 'used': 192}
  Call 5: estimate 805.5, budget now {'limit': 1000, 'used': 240}
  Call 6: BudgetExceeded: Not enough budget for this call: 760 of 1000 tokens are left.
call_model under rate-limit:2:
Run stopped at the next function to build: call_model is built in Lesson 7.

Jeder Aufruf hat wirklich 48 Tokens verbraucht. Der sechste wurde abgelehnt, obwohl noch 760 Tokens übrig waren, weil 805.5 mehr als 760 ist, und für ihn wurde keine Anfrage gesendet. Die Zählungen des geskripteten Modells sind eine Annäherung an das, was ein echtes Modell melden würde.

Das Budget ist {"limit": 1000, "used": 240}. Die nächste Anfrage ist What is a Python list?, 22 Zeichen, ohne max_tokens. Was macht check_budget?

Warum ändert record_usage den Wert budget["used"] in dem Dictionary, das es bekommen hat, statt ein neues Dictionary zurückzugeben?

Aufgabe

Schreib in reliable.py drei Funktionen:

  1. estimate_tokens(request): Addiere mit einer Schleife die Zeichen jeder Nachricht in request["messages"], deren content ein String ist. Gib diese Zahl geteilt durch 4 mit / zurück, plus request.get("max_tokens", DEFAULT_MAX_TOKENS).

  2. check_budget(request, budget): Löse mit left = budget["limit"] - budget["used"] den Fehler BudgetExceeded(f"Not enough budget for this call: {left} of {budget['limit']} tokens are left.") aus, wenn estimate_tokens(request) größer als left ist. Ändere das Budget nicht.

  3. record_usage(response, budget): Addiere response.usage.total_tokens zu budget["used"] in dem Dictionary, das du bekommen hast, und gib nichts zurück.

Führe python chapter9_demo.py aus, um zu sehen, wie das Budget einen Aufruf ablehnt, und prüfe dann deine Arbeit.