Ab nach Hause · Übung
Jeden Lauf protokollieren
Wenn das
Ein JSON-Objekt pro Zeile
Das Log des Lernassistenten ist eine JSON-Lines-Datei, study-assistant-log.jsonl: ein JSON-Objekt pro Zeile, eine Zeile pro Lauf, jede am Ende der Datei angehängt. Hier ist eine Zeile:
{"started": 1794170907.41, "command": "ask", "model": "pl-scripted", "exit_code": 0, "tokens": 539, "seconds": 0.46}
Drei Dinge machen diese Form zu einer guten:
Anhängen schreibt frühere Zeilen nie neu, also kann ein Lauf, der mittendrin abstürzt, höchstens seine eigene Zeile verlieren, nie die von letzter Woche.
Jede Zeile ist für sich vollständiges JSON, also liest ein Programm die Datei Zeile für Zeile mit
json.loads, so wie du in Python in der Praxis Dateien Zeile für Zeile gelesen hast.Fast jedes Tool kann sie lesen, vom Import in eine Tabellenkalkulation bis zu ein paar Zeilen Python.
Die Standardbibliothek von Python hat ein Modul logging, das übliche Werkzeug für größere Programme, die viele Arten von Meldungen schreiben. Dieses Programm braucht einen Datensatz pro Lauf, also schreibt es seine Zeilen selbst.
Was in einen Datensatz gehört und was draußen bleibt
Ein Datensatz enthält sechs Schlüssel: "started", wann der Lauf begann (Sekunden seit 1970, aus time.time()); "command", den Namen des Befehls; "model"; "exit_code"; "tokens", die Tokens, die der Lauf verbraucht hat; und "seconds", wie lange er gedauert hat.
Er enthält keine Frage, keine Antwort und keinen Schlüssel. Ein Log lesen mehr Leute als die Person, die die Frage getippt hat: wer das Programm betreibt, wer es debuggt, wem die Datei geschickt wird. Fragen und Antworten können privat sein, und ein Schlüssel in einem Log ist ein geleakter Schlüssel. Zu protokollieren, was Leute gefragt haben, ist eine Entscheidung über ihre Privatsphäre, die bewusst getroffen und ihnen mitgeteilt wird, nie eine Voreinstellung.
log_run
log_run(path, record) hängt einen Datensatz an das Log an:
Öffne
pathim Anhängemodus,"a", mitencoding="utf-8". Der Anhängemodus erstellt die Datei, wenn sie fehlt, und schreibt hinter das, was sie schon enthält."w"würde die Datei zuerst leeren.Schreibe
json.dumps(record)gefolgt von einem Zeilenumbruch. Ohneindentschreibtjson.dumpsdas ganze Objekt in eine Zeile.
Die Funktion gibt nichts zurück.
main protokolliert den Lauf
main bekommt zwei Schlüsselwortparameter dazu, log_file=None und clock=time.time. log_file gibt an, wohin der Datensatz geschrieben wird, und None bedeutet kein Log, sodass Tests, Prüfungen und die Aufrufe aus Kapitel 11 nichts schreiben. clock ist die Funktion, die die Zeit liefert. Standardmäßig time.time zu übergeben und einen Aufrufer etwas anderes übergeben zu lassen, ist dieselbe Idee wie die Übergabe von sleep seit Kapitel 9: Eine Prüfung kann eine Fake-Uhr übergeben, die 100.0 und dann 102.5 zurückgibt, und weiß dann, dass der Lauf genau 2.5 Sekunden gedauert hat.
In main:
Lies
started = clock()direkt nach dem Parsen der Argumente.Behalte die Prüfung auf einen fehlenden Schlüssel aus Lektion 2 bei, aber setze statt sofort zurückzukehren
code = 1und überspringe den Befehl. Ein fehlender Schlüssel ist zu Hause der wahrscheinlichste Fehlschlag, also gehört er auch ins Log, mit 0 Tokens.Andernfalls erstelle das Budget und hol dir
codewie bisher vonrun_command.Wenn
log_filenichtNoneist, rufelog_runmit diesem Datensatz auf und gib danncodezurück:
{
"started": started,
"command": args.command,
"model": MODEL,
"exit_code": code,
"tokens": budget["used"],
"seconds": clock() - started,
}
Beim Lauf mit fehlendem Schlüssel gibt es kein Budget, also ist tokens dort 0. Eine Möglichkeit ist ein tokens = 0 vor der Prüfung, das nach run_command auf budget["used"] gesetzt wird.
Ein Bedienungsfehler wird nicht protokolliert. argparse beendet das Programm mit Exit-Code 2 innerhalb von parse_args, bevor main einen Befehl hat, den es festhalten könnte.
Sorg zum Schluss dafür, dass ein Lauf aus dem Terminal ins echte Log schreibt. Ändere den Guard ganz unten zu:
if __name__ == "__main__":
raise SystemExit(main(log_file=LOG_FILE))
Ausführen
Führe python stages.py aus. Der Block für Lektion 4 ruft dein main viermal auf, so wie das Terminal es tun würde, mit einem Log in einem temporären Ordner, damit die Demonstration nie etwas zu deinem eigenen study-assistant-log.jsonl hinzufügt, und gibt das Log und seine Zusammenfassung aus:
Lesson 4: four runs, logged
$ python study_assistant.py ask "How do I make an independent copy of a list?"
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.
Sources: 03-lists#4
exit code 0
$ python study_assistant.py quiz 03-lists --count 1
1. For scores = [90, 72, 85], what is scores[-1]?
a) 90
b) 72
c) 85
Answers: 1c
exit code 0
$ python study_assistant.py quiz 99-magic
Error: There is no note called 99-magic.
exit code 4
$ python study_assistant.py --budget 1000 ask "How do I make an independent copy of a list?"
Error: The budget ran out before agent step 2.
exit code 3
The log, one line per run:
{"started": 1794170907.412106, "command": "ask", "model": "pl-scripted", "exit_code": 0, "tokens": 539, "seconds": 0.46033787727355957}
{"started": 1794170907.873569, "command": "quiz", "model": "pl-scripted", "exit_code": 0, "tokens": 420, "seconds": 0.24816584587097168}
{"started": 1794170908.122124, "command": "quiz", "model": "pl-scripted", "exit_code": 4, "tokens": 0, "seconds": 0.0007469654083251953}
{"started": 1794170908.123203, "command": "ask", "model": "pl-scripted", "exit_code": 3, "tokens": 159, "seconds": 0.046597957611083984}
Its summary:
Runs: 4
By exit code: exit 0: 2, exit 3: 1, exit 4: 1
Tokens: 1118 in all, 280 per run
Slowest run: 0.5 seconds
Cost estimate: about $0.0002, counting every token at $0.14 per million
(an estimate: the budget's own token count is an estimate, and a provider may
route a call to an endpoint with another price)
Deine Werte für started und seconds weichen ab, und vielleicht auch der langsamste Lauf in der Zusammenfassung: Sie sind der Zeitpunkt deines Laufs und wie lange er gedauert hat. Alles andere stimmt überein. Der Budget-Lauf hat bei Agentenschritt 1 insgesamt 159 Tokens verbraucht und wurde vor Schritt 2 abgelehnt, also hält seine Zeile diese 159 Tokens und Exit-Code 3 fest.
Dann das Terminal: Führe python study_assistant.py ask "How do I make an independent copy of a list?" zweimal aus und öffne study-assistant-log.jsonl im Editor. Es hat seit deiner Änderung am Guard eine Zeile pro Lauf: zwei, wenn das die ersten waren.
Worauf du achten solltest
Der letzte Teil der Demonstration fasst sample-run-log.jsonl zusammen, eine erfundene Woche mit 28 Läufen, die für diese Lektion bereitgestellt wird, die Art von Log, die das Programm zu Hause schreiben würde:
The summary of sample-run-log.jsonl, a made-up week of runs supplied for this lesson:
Runs: 28
By exit code: exit 0: 22, exit 1: 4, exit 3: 2
Tokens: 44823 in all, 1601 per run
Slowest run: 64.2 seconds
Cost estimate: about $0.0063, counting every token at $0.14 per million
(an estimate: the budget's own token count is an estimate, and a provider may
route a call to an endpoint with another price)
summarize_log ist fertiger Code: Es liest die Datei Zeile für Zeile mit json.loads, zählt die Exit-Codes in einem Dictionary und addiert die Tokens. Lies die Zusammenfassung so, wie die Person, die das Programm betreibt, sie lesen würde:
Vier von 28 Läufen endeten mit Exit-Code 1. Ein steigender Anteil von Exit-Code 1 bedeutet, dass der Anbieter oder das Modell versagt. Das Log sagt, wie oft, nicht warum; die
Error:-Zeile, die jeder gescheiterte Lauf ausgegeben hat, sagt warum, etwa ein Ratenlimit oder ein Modellfehler.Zwei Läufe endeten mit Exit-Code 3. Läufe, die
--budgeterreichen, bedeuten, dass das Budget für das, was Leute fragen, zu knapp ist oder dass die Prompts wachsen. Beide haben unter 1800 Tokens verbraucht, also wurden sie mit einem kleinen--budgetgestartet, etwa 2000. Das Log hält die Tokens fest, die ein Lauf verbraucht hat, nicht das Budget, das er bekommen hat, also kann die Zeile allein ein knappes Budget nicht von einem wachsenden Prompt unterscheiden.Tokens pro Lauf sind die Zahl, die du über die Zeit beobachten solltest. Öffne die Datei: Die
ask-Läufe wachsen von etwa 1900 Tokens am ersten Tag auf etwa 2600 am letzten. Wenn die Tokens pro Lauf langsam steigen, heißt das meist, dass längere Verläufe oder größere Suchergebnisse in jeden Prompt gehen.Der langsamste Lauf hat 64.2 Sekunden gedauert und war trotzdem erfolgreich. Das ist ein Lauf, der etwa eine Minute ein Ratenlimit abgewartet hat, nah an
MAX_WAIT. Die langsamsten Läufe zeigen, wo der Timeout undMAX_WAITzuschlagen.Die Kostenschätzung ist die Zahl, die du mit dem Guthabenlimit deines Schlüssels vergleichst. Hier hat eine Woche weit weniger als einen Cent gekostet, also lässt ein Limit von ein paar Dollar Raum für Fehler, ohne eine Katastrophe zuzulassen.
Warum öffnet log_run das Log mit "a" statt mit "w"?
Um schlechte Antworten zu debuggen, schlägt jemand vor, die Frage jedes Laufs in seinen Log-Datensatz aufzunehmen. Was solltest du tun?
Aufgabe
In study_assistant.py:
Schreibe
log_run(path, record): Öffnepathmit"a"undencoding="utf-8", schreibejson.dumps(record)und einen Zeilenumbruch, und gib nichts zurück.Gib
mainzwei weitere Schlüsselwortparameter,log_file=Noneundclock=time.time. Liesstarted = clock()nach dem Parsen. Wenn der Schlüssel fehlt, behalte die Fehlerzeile aus Lektion 2 bei, setze aber den Exit-Code auf1, statt zurückzukehren, und überspringe den Befehl. Wennlog_filenichtNoneist, rufelog_run(log_file, record)mit den Schlüsseln"started","command"(args.command),"model"(MODEL),"exit_code","tokens"(die verbrauchten Tokens des Budgets, oder0ohne Schlüssel) und"seconds"(clock() - started) auf. Gib den Exit-Code zurück.Ändere den Guard zu
raise SystemExit(main(log_file=LOG_FILE)).
Führe python stages.py aus, um vier protokollierte Läufe und zwei Zusammenfassungen zu sehen, und prüfe dann deine Arbeit.