Eindproject · oefening
Fouten, budget en exitcodes
De drie commando’s werken, en elk geeft zijn tekst terug of werpt een fout op. Nog niets bepaalt wat de gebruiker ziet als er iets misgaat, of met welke exitcode het programma eindigt. Dat is de taak van de grens van het programma, de code tussen de main(argv=None) uit hoofdstuk 8 van Python in de praktijk, maar volwassen geworden: dezelfde vorm, met elke fout die de studieassistent kan tegenkomen ingedeeld in een van een paar exitcodes.
Je schrijft drie functies, en daarna de regel die het programma uitvoert.
Van oorzaak naar exitcode
Sinds hoofdstuk 3 heb je code geschreven die voor elke soort fout een specifieke fout opwerpt. Hier komen ze allemaal samen, en elk krijgt een code:
1, de run mislukte. De agent stopte zonder antwoord (
ValueErroruitask_command), een antwoord of quiz was na de nieuwe poging nog ongeldig (ValidationError, een soortValueError, of de eigenValueErrorvanask), een quizantwoord had geen tekst (ValueError), een antwoord werd afgekapt bijmax_tokens(ReplyCutOff), een stream brak halverwege af (StreamBroken), of een modelfout was het niet waard om opnieuw te proberen of bleef mislukken na de nieuwe pogingen vancall_model(openai.APIError, die ook een dienst dekt die niet bereikbaar is).3, het budget was op.
BudgetExceeded, uit elke aanroep van de run, de nieuwe poging vanaskinbegrepen. Dit is de eigen limiet van de gebruiker, ingesteld met--budget, dus het krijgt een eigen code: een script dat de studieassistent uitvoert, kan “geef het meer budget” onderscheiden van “het is mislukt”.4, de notitie bestaat niet.
FileNotFoundErroruitquiz_command. De gebruiker heeft een id verkeerd getypt.2, de opdrachtregel was fout. Dat handelt
argparseaf voordat er iets van jouw code draait, zoals les 1 liet zien.
Al het andere, zoals een TypeError of een KeyError, is een bug in het programma. Dat wordt niet afgevangen, dus Python drukt de traceback af, en dat wil je ook als het programma zelf fout is.
De afbeelding deelt elke uitkomst in. De opdrachtregel wordt eerst gecontroleerd, dus een gebruiksfout bereikt run_command nooit. Daarna vangt elke except-clausule haar soort fout af en geeft die een code, en alles wat geen van hen noemt, eindigt in een traceback.

error_line
De gebruiker ziet één regel op de standaardfout: Error: en een korte beschrijving. Voor de meeste fouten is de beschrijving de eerste regel van str(error): The budget ran out before agent step 2., The reply was cut off at the max_tokens limit. of de tekst van een openai-fout, die uit één regel bestaat. Neem die met str(error).split("\n")[0].
Een ValidationError van pydantic is anders. De eerste regel van de tekst is alleen een kop, zoals 1 validation error for CitedAnswer, die niets zegt over wat er mis was. error_lines(error) uit hoofdstuk 4 geeft één korte regel per probleem, dus voor een ValidationError geeft error_line de eerste daarvan terug, zoals (whole reply): Invalid JSON: expected ident at line 1 column 2.
run_command
run_command(args, *, client, budget, sleep, stdin) voert één commando uit en geeft de exitcode terug:
try:
if args.command == "ask":
print(ask_command(args.question, client=client, budget=budget, sleep=sleep))
...
return 0
except BudgetExceeded as error:
print(f"Error: {error_line(error)}", file=sys.stderr)
return 3
Controleer binnen try args.command en roep dat commando aan: druk voor "ask" af wat ask_command(args.question, ...) teruggeeft, druk voor "quiz" af wat quiz_command(args.note_id, args.count, ...) teruggeeft, en roep voor "chat" chat_command(..., stdin=stdin) aan, dat gaandeweg afdrukt. Geef aan elk client, budget en sleep mee, en geef daarna 0 terug.
Daarna één except-clausule per code, in deze volgorde, die elk f"Error: {error_line(error)}" afdrukt met file=sys.stderr en de eigen code teruggeeft: BudgetExceeded geeft 3 terug, FileNotFoundError geeft 4 terug, en (ValueError, ReplyCutOff, StreamBroken, openai.APIError) geeft 1 terug. Bij een fout gaat er niets naar de standaarduitvoer: de commando’s geven hun tekst alleen terug als ze slagen, dus de print is nooit uitgevoerd. Bij chat staat wat vóór de onderbreking binnenstreamde al op het scherm, en dat blijft daar staan.
print(..., file=sys.stderr) zoekt sys.stderr op op het moment dat het draait, dus als een controle de standaardfout opvangt, komt jouw regel in die opname terecht.
main
main(argv=None, *, client=None, notes_dir=NOTES_DIR, stdin=None, sleep=time.sleep):
args = build_parser().parse_args(argv). Metargv=Noneleestargparsede echte opdrachtregel. Een gebruiksfout verlaat het programma via de eigenSystemExit(2)vanargparse, met de gebruiksregel en foutregel, zoals in Python in de praktijk; vang die niet af.use_settings(notes_dir), zodat de cursusmodules het model en de notitiemap van dit programma gebruiken.Als
clientNoneis,client = build_client(). AlsstdinNoneis,stdin = sys.stdin.budget = {"limit": args.budget, "used": 0}. Dit is het ene budget van de run: de stappen van de agent, de nieuwe poging vanask, een quiz en de nieuwe poging daarvan, en elke beurt van een chat putten allemaal uit deze dictionary.Geef
run_command(args, client=client, budget=budget, sleep=sleep, stdin=stdin)terug.
main krijgt client, notes_dir, stdin en sleep zodat tests en controles het hele programma kunnen uitvoeren met een nep-client, een map met eigen notities, getypte invoer en zonder te wachten. De uitvoerstreams krijgt het niet: de commando’s drukken af, en een gestreamd antwoord wordt stukje voor stukje afgedrukt binnen chat_turn, dus tests vangen in plaats daarvan op wat er wordt afgedrukt, met contextlib.redirect_stdout en redirect_stderr, zoals de controles van Python in de praktijk deden.
Vervang tot slot het commentaar aan het eind van het bestand door de guard:
if __name__ == "__main__":
raise SystemExit(main())
SystemExit(code) beëindigt het programma met die exitcode, dus wat main teruggeeft wordt de exitcode van het programma. Bij het importeren van het bestand wordt niets uitgevoerd, en zo gebruiken stages.py en de controles het.
Voer het uit
Als alles geschreven is, voer je python stages.py uit. Het blok van les 6 roept main één keer aan voor elke exitcode. Elke aanroep drukt de argumentenlijst af en daarna de exitcode; daartussen staat wat het programma schreef, met de standaardfout en de standaarduitvoer op hetzelfde scherm:
Lesson 6: main and its exit codes
--- main(['ask', 'How do I make an independent copy of a list?'])
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
exit code 0
--- main(['--budget', '1000', 'ask', 'How do I make an independent copy of a list?'])
Error: The budget ran out before agent step 2.
exit code 3
--- main(['quiz', '99-magic'])
Error: There is no note called 99-magic.
exit code 4
--- main(['quiz', '03-lists', '--count', '9'])
usage: study_assistant.py quiz [-h] [--count N] NOTE_ID
study_assistant.py quiz: error: argument --count: must be a whole number from 1 to 5
exit code 2
Under the tool-loop scenario:
--- main(['ask', 'How do I make an independent copy of a list?'])
Error: The agent stopped without an answer (stuck).
exit code 1
Under the broken-stream scenario:
--- main(['chat'])
A list is an ordered collection that can hold
Error: The stream stopped before the reply was complete.
exit code 1
Under the rate-limit:2 scenario:
--- main(['ask', 'How do I make an independent copy of a list?'])
(waiting 1.0 s)
(waiting 1.0 s)
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
exit code 0
Met --budget 1000 was de schatting voor stap 1: 146 + 800 = 946 tokens, en dat paste. De eerste stap gebruikte er 159, zodat er 841 over waren, en het request van stap 2 bevatte ook het zoekresultaat van 763 tekens, dus de schatting daarvan was 1136.75, en dat paste niet. Onder tool-loop vraagt het model opnieuw om dezelfde zoekopdracht, en de lusdetectie uit hoofdstuk 7 stopt de agent. Onder broken-stream drukte de chat het begin van een antwoord af en mislukte daarna. Onder rate-limit:2 geeft stages.py de sleep_and_say uit hoofdstuk 9 mee, die zegt hoe lang hij wacht, en wachtte call_model twee 429-antwoorden uit; stages.py zet eerst de teller van het gescripte model terug. Daarna gaat stages.py verder met het evalrapport van les 8.
Als llm-api niet draait, stopt python stages.py bij het blok van les 2 met Could not reach llm-api, omdat dat blok run_agent direct aanroept. main zelf handelt het af: in de python study_assistant.py ask "..." Error: Connection error. af en eindigt het met exitcode 1, zoals bij elke andere modelfout.
Zodra de guard er staat, probeer je de commando’s in de terminal. echo $? toont de exitcode van het commando ervoor:
$ python study_assistant.py --budget 1000 ask "How do I make an independent copy of a list?"
Error: The budget ran out before agent step 2.
$ echo $?
3
$ python study_assistant.py quiz 99-magic
Error: There is no note called 99-magic.
$ echo $?
4
Waarom krijgt BudgetExceeded exitcode 3 in plaats van de 1 die elke andere mislukte run krijgt?
Een fout in ask_command werpt een KeyError op. Wat doet het programma?
Opdracht
Schrijf in study_assistant.py drie functies en sluit het bestand af met de guard.
error_line(error): geef voor een ValidationError de eerste van error_lines(error) terug; voor elke andere fout de eerste regel van str(error).
run_command(args, *, client, budget, sleep, stdin): voer binnen try het commando uit dat args.command noemt. Druk voor "ask" af wat ask_command(args.question, ...) teruggeeft; druk voor "quiz" af wat quiz_command(args.note_id, args.count, ...) teruggeeft; roep voor "chat" chat_command(..., stdin=stdin) aan. Geef aan elk client, budget en sleep mee. Geef 0 terug. Vang daarna af, in deze volgorde, en druk elke keer f"Error: {error_line(error)}" af naar sys.stderr:
BudgetExceeded: geef3terug;FileNotFoundError: geef4terug;ValueError,ReplyCutOff,StreamBrokenofopenai.APIError: geef1terug.
Vang verder niets af.
main(argv=None, *, client=None, notes_dir=NOTES_DIR, stdin=None, sleep=time.sleep): args = build_parser().parse_args(argv), daarna use_settings(notes_dir). Gebruik build_client() als client None is en sys.stdin als stdin None is. Maak één budget = {"limit": args.budget, "used": 0} en geef run_command(args, client=client, budget=budget, sleep=sleep, stdin=stdin) terug.
Vervang het laatste commentaar door if __name__ == "__main__": met daaronder raise SystemExit(main()). Voer python stages.py uit om elke exitcode te zien, probeer de exitcode zelf uit in de Shell, en controleer daarna je werk.