Mee naar huis · oefening
Houd een log bij van elke run
Als de
Eén JSON-object per regel
Het log van de studieassistent is een JSON Lines-bestand, study-assistant-log.jsonl: één JSON-object per regel, één regel per run, elk achteraan het bestand toegevoegd. Dit is een regel:
{"started": 1794170907.41, "command": "ask", "model": "pl-scripted", "exit_code": 0, "tokens": 539, "seconds": 0.46}
Drie dingen maken dit een goede vorm:
Toevoegen herschrijft nooit eerdere regels, dus een run die halverwege crasht, kan hooguit zijn eigen regel kwijtraken, nooit die van vorige week.
Elke regel is op zichzelf volledige JSON, dus een programma leest het bestand regel voor regel met
json.loads, zoals je in Python in de praktijk bestanden regel voor regel las.Bijna elke tool kan het lezen, van een spreadsheetimport tot een paar regels Python.
De standaardbibliotheek van Python heeft een logging-module, het gebruikelijke gereedschap voor grotere programma’s die veel soorten berichten schrijven. Dit programma heeft één record per run nodig, dus het schrijft zijn eigen regels.
Wat er in een record staat, en wat erbuiten blijft
Een record bevat zes sleutels: "started", wanneer de run begon (seconden sinds 1970, van time.time()); "command", de naam van het commando; "model"; "exit_code"; "tokens", de tokens die de run gebruikte; en "seconds", hoe lang hij duurde.
Het bevat geen vraag, geen antwoord en geen API-sleutel. Een log wordt door meer mensen gelezen dan de persoon die de vraag typte: wie het programma draait, wie het debugt, naar wie het bestand wordt gestuurd. Vragen en antwoorden kunnen privé zijn, en een sleutel in een log is een uitgelekte sleutel. Vastleggen wat mensen vroegen, is een beslissing over hun privacy die je bewust neemt en aan hen vertelt, nooit een standaardinstelling.
log_run
log_run(path, record) voegt één record aan het log toe:
Open
pathin append-modus,"a", metencoding="utf-8". Append-modus maakt het bestand aan als het ontbreekt en schrijft na wat er al in staat."w"zou het bestand eerst leegmaken.Schrijf
json.dumps(record), gevolgd door een newline. Zonderindentschrijftjson.dumpshet hele object op één regel.
Het geeft niets terug.
main legt de run vast
main krijgt er twee keywordparameters bij, log_file=None en clock=time.time. log_file is waar het record naartoe moet, en None betekent geen log, dus tests, controles en de eigen aanroepen uit hoofdstuk 11 schrijven niets. clock is de functie die de tijd geeft. Standaard time.time meegeven en een aanroeper een andere laten meegeven, is hetzelfde idee als het meegeven van sleep sinds hoofdstuk 9: een controle kan een nep-klok meegeven die 100.0 en daarna 102.5 teruggeeft, en weten dat de run precies 2.5 seconden duurde.
In main:
Lees
started = clock()direct na het parsen van de argumenten.Houd de controle op een ontbrekende sleutel uit les 2, maar zet in plaats van meteen terug te geven
code = 1en sla het commando over. Een ontbrekende sleutel is thuis de waarschijnlijkste fout, dus die hoort ook in het log, met 0 tokens.Bouw anders het budget en haal
codeuitrun_command, zoals eerst.Roep, wanneer
log_filenietNoneis,log_runaan met dit record en geef daarnacodeterug:
{
"started": started,
"command": args.command,
"model": MODEL,
"exit_code": code,
"tokens": budget["used"],
"seconds": clock() - started,
}
Bij de run zonder sleutel is er geen budget, dus daar is tokens gelijk aan 0. Een manier is een tokens = 0 vóór de controle, die je na run_command op budget["used"] zet.
Een gebruiksfout wordt niet gelogd. argparse beëindigt het programma met exitcode 2 binnen parse_args, voordat main een commando heeft om vast te leggen.
Zorg er ten slotte voor dat een run vanuit de terminal naar het echte log schrijft. Verander de guard onderaan in:
if __name__ == "__main__":
raise SystemExit(main(log_file=LOG_FILE))
Voer het uit
Voer python stages.py uit. Het blok van les 4 roept je main vier keer aan, zoals de terminal dat zou doen, met een log in een tijdelijke map zodat de demonstratie nooit iets toevoegt aan je eigen study-assistant-log.jsonl, en drukt het log en de samenvatting ervan af:
Lesson 4: four runs, logged
$ python study_assistant.py ask "How do I make an independent copy of a list?"
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
exit code 0
$ python study_assistant.py quiz 03-lists --count 1
1. For scores = [90, 72, 85], what is scores[-1]?
a) 90
b) 72
c) 85
Answers: 1c
exit code 0
$ python study_assistant.py quiz 99-magic
Error: There is no note called 99-magic.
exit code 4
$ python study_assistant.py --budget 1000 ask "How do I make an independent copy of a list?"
Error: The budget ran out before agent step 2.
exit code 3
The log, one line per run:
{"started": 1794170907.412106, "command": "ask", "model": "pl-scripted", "exit_code": 0, "tokens": 539, "seconds": 0.46033787727355957}
{"started": 1794170907.873569, "command": "quiz", "model": "pl-scripted", "exit_code": 0, "tokens": 420, "seconds": 0.24816584587097168}
{"started": 1794170908.122124, "command": "quiz", "model": "pl-scripted", "exit_code": 4, "tokens": 0, "seconds": 0.0007469654083251953}
{"started": 1794170908.123203, "command": "ask", "model": "pl-scripted", "exit_code": 3, "tokens": 159, "seconds": 0.046597957611083984}
Its summary:
Runs: 4
By exit code: exit 0: 2, exit 3: 1, exit 4: 1
Tokens: 1118 in all, 280 per run
Slowest run: 0.5 seconds
Cost estimate: about $0.0002, counting every token at $0.14 per million
(an estimate: the budget's own token count is an estimate, and a provider may
route a call to an endpoint with another price)
Je waarden voor started en seconds zijn anders, en de traagste run in de samenvatting misschien ook: ze zijn het tijdstip van jouw run en hoe lang die duurde. Al het andere komt overeen. De budgetrun gebruikte 159 tokens bij agentstap 1 en werd vóór stap 2 geweigerd, dus zijn regel legt die 159 tokens en exitcode 3 vast.
Dan de terminal: voer python study_assistant.py ask "How do I make an independent copy of a list?" twee keer uit, en open study-assistant-log.jsonl in de editor. Het bevat één regel per run sinds je de guard hebt veranderd: twee, als dit de eerste waren.
Waar je op let
Het laatste deel van de demonstratie vat sample-run-log.jsonl samen, een verzonnen week met 28 runs die voor deze les is meegeleverd, het soort log dat het programma thuis zou schrijven:
The summary of sample-run-log.jsonl, a made-up week of runs supplied for this lesson:
Runs: 28
By exit code: exit 0: 22, exit 1: 4, exit 3: 2
Tokens: 44823 in all, 1601 per run
Slowest run: 64.2 seconds
Cost estimate: about $0.0063, counting every token at $0.14 per million
(an estimate: the budget's own token count is an estimate, and a provider may
route a call to an endpoint with another price)
summarize_log is afgeronde code: hij leest het bestand regel voor regel met json.loads, telt de exitcodes in een dictionary en telt de tokens op. Lees de samenvatting zoals degene die het programma draait dat zou doen:
Vier van de 28 runs eindigden met exitcode 1. Een stijgend aandeel exit 1 betekent dat de aanbieder of het model faalt. Het log zegt hoe vaak, niet waarom; de
Error:-regel die elke mislukte run afdrukte, zegt waarom, zoals een rate limit of een modelfout.Twee runs eindigden met exitcode 3. Runs die
--budgetbereiken, betekenen dat het budget te krap is voor wat mensen vragen, of dat de prompts groeien. Beide gebruikten minder dan 1800 tokens, dus ze zijn gestart met een kleine--budget, zoals 2000. Het log legt de tokens vast die een run gebruikte, niet het budget dat hij kreeg, dus de regel alleen kan een krap budget niet onderscheiden van een groeiende prompt.Tokens per run is het getal om in de loop van de tijd te volgen. Open het bestand: de
ask-runs groeien van ongeveer 1900 tokens op de eerste dag tot ongeveer 2600 op de laatste. Als het aantal tokens per run langzaam stijgt, betekent dat meestal dat er langere geschiedenissen of grotere zoekresultaten in elke prompt terechtkomen.De traagste run duurde 64.2 seconden en slaagde toch. Dat is een run die ongeveer een minuut op een rate limit heeft gewacht, dicht bij
MAX_WAIT. De traagste runs laten zien waar de time-out enMAX_WAITgaan knellen.De kostenschatting is het getal om te vergelijken met de kredietlimiet op je sleutel. Hier kostte een week ruim minder dan een cent, dus een limiet van een paar dollar laat ruimte voor fouten zonder een ramp toe te staan.
Waarom opent log_run het log met "a" en niet met "w"?
Om slechte antwoorden te debuggen, stelt iemand voor om de vraag van elke run aan het logrecord toe te voegen. Wat moet je doen?
Opdracht
In study_assistant.py:
Schrijf
log_run(path, record): openpathmet"a"enencoding="utf-8", schrijfjson.dumps(record)en een newline, en geef niets terug.Geef
mainnog twee keywordparameters,log_file=Noneenclock=time.time. Leesstarted = clock()na het parsen. Als de sleutel ontbreekt, houd je de foutregel uit les 2, maar zet je de exitcode op1in plaats van terug te geven, en sla je het commando over. Wanneerlog_filenietNoneis, roep jelog_run(log_file, record)aan met de sleutels"started","command"(args.command),"model"(MODEL),"exit_code","tokens"(de gebruikte tokens van het budget, of0zonder sleutel) en"seconds"(clock() - started). Geef de exitcode terug.Verander de guard in
raise SystemExit(main(log_file=LOG_FILE)).
Voer python stages.py uit om vier gelogde runs en twee samenvattingen te zien en controleer daarna je werk.