Als er iets misgaat · oefening
Herken een afgekapt antwoord
In de demonstratie van les 1 was de regel length de enige die niets opwierp. De aanroep lukte, en de response zag eruit als elke andere. Maar de finish_reason was "length", wat betekent dat het model stopte omdat het max_tokens bereikte, niet omdat het klaar was.
Onvolledig, ook als het er goed uitziet
Explain Python lists in detail. krijgt onder het scenario length deze content:
A list is an ordered collection that can
Hier stopt de zin duidelijk halverwege. Vaak is het minder duidelijk: een afgekapte lijst met stappen kan eindigen na een volledige stap, en afgekapte JSON kan zijn laatste vraag of zijn sluitaccolade missen. Een programma dat alleen content leest, geeft zo’n antwoord door alsof het het hele antwoord is.
Een redeneermodel, zoals het model achter pl-live, kan worden afgekapt voordat het iets schrijft. Het besteedt een deel van max_tokens aan nadenken, en als het nadenken de limiet opmaakt, is de zichtbare content "". Het scenario empty-length bootst dat na.
Een programma controleert dus response.choices[0].finish_reason voordat het een antwoord vertrouwt. "stop" betekent dat het model klaar was, en "tool_calls" betekent dat het om tools vraagt. Beide zijn volledig. "length" niet.
ReplyCutOff
errors.py levert een fout voor dit geval. Die werkt zoals StreamBroken uit hoofdstuk 3: je werpt hem op met de tekst die wel binnenkwam, en wie hem afvangt, leest partial_text:
raise ReplyCutOff(text)
except ReplyCutOff as error:
print(error.partial_text)
check_finished(response) werpt ReplyCutOff op met de content van het antwoord als de finish reason "length" is. Een antwoord dat om tools vroeg, of een antwoord zonder tekst, heeft als content None; geef in dat geval "" mee: partial_text is altijd een string. Bij elke andere finish reason geeft check_finished niets terug.
Een afgekapt antwoord hoort bij de groep “het request verbeteren” uit les 1. Hetzelfde request nog eens versturen levert hetzelfde afgekapte antwoord op, dus het wordt niet opnieuw geprobeerd. De oplossing is een hogere max_tokens of een korter request, en dat is een beslissing voor de persoon of het programma dat het request bouwde.
De parse-hulpfunctie doet hetzelfde
parse_quiz_reply uit hoofdstuk 5 stuurde de quiz via de parse-hulpfunctie van de client. Die hulpfunctie controleert finish_reason zelf: bij "length" werpt hij openai.LengthFinishReasonError op voordat hij iets probeert te valideren. check_finished geeft elke andere aanroep dezelfde bescherming, met een eigen fout van de cursus.
Voer het uit
Voer python chapter9_demo.py uit als je check_finished hebt geschreven. De demonstratie stuurt Explain Python lists in detail. via call_once onder length en onder empty-length, geeft elke response aan check_finished, en vraagt daarna parse_quiz_reply uit hoofdstuk 5 om een quiz over notes/03-lists.md onder length:
A reply under length:
ReplyCutOff. The partial text was 'A list is an ordered collection that can'
A reply under empty-length:
ReplyCutOff. The partial text was ''
A quiz through the parse helper under length:
LengthFinishReasonError
The same question until the budget refuses it:
Run stopped at the next function to build: check_budget is built in Lesson 6.
Elk afgekapt antwoord is nu een fout met een naam, in plaats van een kort antwoord dat er volledig uitziet.
check_finished wierp ReplyCutOff op. Waarom wordt hetzelfde request niet gewoon opnieuw verstuurd?
Onder empty-length is de content van het antwoord "" en de finish_reason "length". Wat moet check_finished doen?
Opdracht
Schrijf in reliable.py check_finished(response). Als response.choices[0].finish_reason gelijk is aan "length", werp je ReplyCutOff op met de content van het antwoord, of met "" als de content None is. Bij elke andere finish reason geef je niets terug. Gebruik de meegeleverde ReplyCutOff uit errors.py. Voer python chapter9_demo.py uit om te zien hoe de afgekapte antwoorden worden afgevangen, en controleer daarna je werk.