Als er iets misgaat · oefening
Stop eerst bij je eigen limiet
De agent uit hoofdstuk 7 telde zijn tokens en stopte zodra hij er te veel had gebruikt. Die telling hoorde bij één run van de agent, en kon het probleem pas opmerken nadat er een antwoord was binnengekomen. De studieassistent maakt ook quizzen en voert chats, en een aanbieder rekent die allemaal af. Als de enige limiet de rekening van de aanbieder is, of de daglimiet van een live model, ontdekt het programma pas dat het te veel heeft uitgegeven als het te laat is.
Deze les geeft het programma een eigen limiet, die vóór elke aanroep wordt gecontroleerd.
Eén gedeeld budget
Het budget is één dictionary:
budget = {"limit": 20000, "used": 0}
Elke functie die het model aanroept, krijgt dezelfde dictionary en past die ter plekke aan, zodat een quiz, een agentrun en een chat allemaal uit één pot uitgeven. Vóór een aanroep controleert het programma of de aanroep zou passen in wat er over is. Erna telt het programma op wat de aanroep echt gebruikte.
Een schatting vóór de aanroep
Voordat een aanroep is verstuurd, weet niemand hoeveel tokens die gaat gebruiken. Het programma kan een bovengrens schatten:
De tekst van het request. Een gangbare vuistregel is ongeveer vier tekens per token, dus het programma telt de tekens op van elk bericht waarvan
contenteen string is, en deelt door 4. Een bericht dat om tools vroeg, heeftcontentNoneen wordt overgeslagen.Het antwoord. Dat kan zo lang zijn als
max_tokens, dus de schatting telt errequest.get("max_tokens", DEFAULT_MAX_TOKENS)bij op, dezelfde waarde diecall_onceverstuurt.
estimate_tokens(request) geeft die som terug. Die hoeft geen geheel getal te zijn: What is a Python list? heeft 22 tekens, dus de schatting is 22 / 4 + 800, oftewel 805.5. Voor een vergelijking is een niet-geheel getal prima. Deel met / en rond niet af.
Het gescripte model telt prompt_tokens met dezelfde regel, maar rondt naar boven af, dus je schatting van de tekst ligt nooit meer dan één token onder zijn telling. Echte aanbieders tellen met hun eigen tokenizer, en tellen ook de toolbeschrijvingen mee, die deze schatting weglaat. Het is een bescherming, geen rekening.
Controleren, daarna vastleggen
check_budget(request, budget) berekent wat er over is, left = budget["limit"] - budget["used"], en werpt de meegeleverde BudgetExceeded op als de schatting groter is dan left:
raise BudgetExceeded(f"Not enough budget for this call: {left} of {budget['limit']} tokens are left.")
Een schatting die gelijk is aan left past nog. check_budget controleert alleen; hij verandert het budget niet.
record_usage(response, budget) telt response.usage.total_tokens op bij budget["used"]. Hij past de dictionary aan die hij kreeg en geeft niets terug, zodat elke aanroeper die dezelfde dictionary heeft het nieuwe totaal ziet.
De reservering voor max_tokens overheerst de schatting. What is a Python list? gebruikte in totaal 48 tokens, maar heeft 805.5 tokens ruimte nodig, omdat het antwoord 800 tokens lang had kunnen zijn. Dat is bewust: de controle moet ook kloppen voor het langste antwoord dat het request toestaat.
Voer het uit
Voer python chapter9_demo.py uit als je de drie functies hebt geschreven. budget_demo in de demonstratie stuurt steeds opnieuw What is a Python list? met jouw check_budget, call_once en record_usage, beginnend bij {"limit": 1000, "used": 0}, totdat het budget weigert:
The same question until the budget refuses it:
Call 1: estimate 805.5, budget now {'limit': 1000, 'used': 48}
Call 2: estimate 805.5, budget now {'limit': 1000, 'used': 96}
Call 3: estimate 805.5, budget now {'limit': 1000, 'used': 144}
Call 4: estimate 805.5, budget now {'limit': 1000, 'used': 192}
Call 5: estimate 805.5, budget now {'limit': 1000, 'used': 240}
Call 6: BudgetExceeded: Not enough budget for this call: 760 of 1000 tokens are left.
call_model under rate-limit:2:
Run stopped at the next function to build: call_model is built in Lesson 7.
Elke aanroep gebruikte echt 48 tokens. De zesde werd geweigerd hoewel er nog 760 tokens over waren, omdat 805.5 meer is dan 760, en er werd geen request voor verstuurd. De tellingen van het gescripte model zijn een benadering van wat een echt model zou melden.
Het budget is {"limit": 1000, "used": 240}. Het volgende request is What is a Python list?, 22 tekens, zonder max_tokens. Wat doet check_budget?
Waarom past record_usage budget["used"] aan in de dictionary die het kreeg, in plaats van een nieuwe dictionary terug te geven?
Opdracht
Schrijf in reliable.py drie functies:
estimate_tokens(request): tel met een lus de tekens op van elk bericht inrequest["messages"]waarvancontenteen string is. Geef dat getal gedeeld door 4 met/terug, plusrequest.get("max_tokens", DEFAULT_MAX_TOKENS).check_budget(request, budget): werp, metleft = budget["limit"] - budget["used"], de foutBudgetExceeded(f"Not enough budget for this call: {left} of {budget['limit']} tokens are left.")op alsestimate_tokens(request)groter is danleft. Verander het budget niet.record_usage(response, budget): telresponse.usage.total_tokensop bijbudget["used"]in de dictionary die je kreeg, en geef niets terug.
Voer python chapter9_demo.py uit om het budget een aanroep te zien weigeren, en controleer daarna je werk.