Wenn etwas schiefgeht · Übung
Zuerst am eigenen Limit anhalten
Der Agent aus Kapitel 7 hat seine Tokens gezählt und aufgehört, sobald er zu viele verbraucht hatte. Dieser Zähler gehörte zu einem einzigen Lauf des Agenten, und er konnte das Problem erst bemerken, nachdem eine Antwort angekommen war. Der Lernassistent erstellt außerdem Quizze und führt Chats, und ein Anbieter berechnet sie alle. Wenn das einzige Limit die Rechnung des Anbieters oder das Tageslimit eines Live-Modells ist, merkt das Programm erst zu spät, dass es zu viel ausgegeben hat.
Diese Lektion gibt dem Programm ein eigenes Limit, das vor jedem Aufruf geprüft wird, bevor er gesendet wird.
Ein gemeinsames Budget
Das Budget ist ein einzelnes Dictionary:
budget = {"limit": 20000, "used": 0}
Jede Funktion, die das Modell aufruft, bekommt dasselbe Dictionary und ändert es direkt, sodass ein Quiz, ein Agentenlauf und ein Chat alle aus einem Topf ausgeben. Vor einem Aufruf prüft das Programm, ob der Aufruf in den Rest passen könnte. Danach addiert es, was der Aufruf wirklich verbraucht hat.
Eine Schätzung vor dem Aufruf
Bevor ein Aufruf gesendet wird, weiß niemand, wie viele Tokens er verbrauchen wird. Das Programm kann eine Obergrenze schätzen:
Der Text der Anfrage. Eine gängige Faustregel sind etwa vier Zeichen pro Token, also addiert das Programm die Zeichen jeder Nachricht, deren
contentein String ist, und teilt durch 4. Eine Nachricht, die nach Tools gefragt hat, hatcontentNoneund wird übersprungen.Die Antwort. Sie kann so lang wie
max_tokenswerden, also addiert die Schätzungrequest.get("max_tokens", DEFAULT_MAX_TOKENS), denselben Wert, dencall_oncesendet.
estimate_tokens(request) gibt diese Summe zurück. Sie kann Nachkommastellen haben: What is a Python list? hat 22 Zeichen, also ist die Schätzung 22 / 4 + 800, und das ist 805.5. Für einen Vergleich ist ein Bruch kein Problem. Teile mit / und runde nicht.
Das geskriptete Modell zählt prompt_tokens nach derselben Regel, rundet aber auf, sodass deine Schätzung des Texts nie mehr als ein Token unter seiner Zählung liegt. Echte Anbieter zählen mit ihrem eigenen Tokenizer, und sie zählen auch die Tool-Beschreibungen mit, die diese Schätzung weglässt. Sie ist eine Sicherung, keine Rechnung.
Prüfe, dann erfasse
check_budget(request, budget) berechnet den Rest, left = budget["limit"] - budget["used"], und löst das vorgegebene BudgetExceeded aus, wenn die Schätzung größer als left ist:
raise BudgetExceeded(f"Not enough budget for this call: {left} of {budget['limit']} tokens are left.")
Eine Schätzung, die genau left entspricht, passt noch. check_budget prüft nur; es ändert das Budget nicht.
record_usage(response, budget) addiert response.usage.total_tokens zu budget["used"]. Es ändert das Dictionary, das es bekommen hat, und gibt nichts zurück, sodass jeder Aufrufer, der dasselbe Dictionary hält, die neue Summe sieht.
Die Reserve für max_tokens bestimmt die Schätzung. What is a Python list? hat insgesamt 48 Tokens verbraucht, braucht aber 805.5 Tokens Platz, weil die Antwort 800 Tokens lang hätte sein können. Das ist Absicht: Die Prüfung muss auch für die längste Antwort halten, die die Anfrage erlaubt.
Ausführen
Wenn die drei Funktionen geschrieben sind, führe python chapter9_demo.py aus. budget_demo aus der Demonstration sendet What is a Python list? immer wieder mit deinen Funktionen check_budget, call_once und record_usage, beginnend bei {"limit": 1000, "used": 0}, bis das Budget ablehnt:
The same question until the budget refuses it:
Call 1: estimate 805.5, budget now {'limit': 1000, 'used': 48}
Call 2: estimate 805.5, budget now {'limit': 1000, 'used': 96}
Call 3: estimate 805.5, budget now {'limit': 1000, 'used': 144}
Call 4: estimate 805.5, budget now {'limit': 1000, 'used': 192}
Call 5: estimate 805.5, budget now {'limit': 1000, 'used': 240}
Call 6: BudgetExceeded: Not enough budget for this call: 760 of 1000 tokens are left.
call_model under rate-limit:2:
Run stopped at the next function to build: call_model is built in Lesson 7.
Jeder Aufruf hat wirklich 48 Tokens verbraucht. Der sechste wurde abgelehnt, obwohl noch 760 Tokens übrig waren, weil 805.5 mehr als 760 ist, und für ihn wurde keine Anfrage gesendet. Die Zählungen des geskripteten Modells sind eine Annäherung an das, was ein echtes Modell melden würde.
Das Budget ist {"limit": 1000, "used": 240}. Die nächste Anfrage ist What is a Python list?, 22 Zeichen, ohne max_tokens. Was macht check_budget?
Warum ändert record_usage den Wert budget["used"] in dem Dictionary, das es bekommen hat, statt ein neues Dictionary zurückzugeben?
Aufgabe
Schreib in reliable.py drei Funktionen:
estimate_tokens(request): Addiere mit einer Schleife die Zeichen jeder Nachricht inrequest["messages"], derencontentein String ist. Gib diese Zahl geteilt durch 4 mit/zurück, plusrequest.get("max_tokens", DEFAULT_MAX_TOKENS).check_budget(request, budget): Löse mitleft = budget["limit"] - budget["used"]den FehlerBudgetExceeded(f"Not enough budget for this call: {left} of {budget['limit']} tokens are left.")aus, wennestimate_tokens(request)größer alsleftist. Ändere das Budget nicht.record_usage(response, budget): Addiereresponse.usage.total_tokenszubudget["used"]in dem Dictionary, das du bekommen hast, und gib nichts zurück.
Führe python chapter9_demo.py aus, um zu sehen, wie das Budget einen Aufruf ablehnt, und prüfe dann deine Arbeit.