0%

Ab nach Hause · Übung

Jeden Lauf protokollieren

Wenn das geschlossen wird, ist jeder Lauf des Lernassistenten weg: was er tun sollte, ob es funktioniert hat, wie viele Tokens er verbraucht hat. Beim Kursmodell war das in Ordnung. Sobald ein Programm für jemanden Geld ausgibt, tauchen drei Fragen immer wieder auf: Wie viel gibt es aus, wie oft scheitert es, und ändert sich eines davon? Ein Log beantwortet sie, wenn jeder Lauf eine Zeile in derselben Form schreibt.

Ein JSON-Objekt pro Zeile

Das Log des Lernassistenten ist eine JSON-Lines-Datei, study-assistant-log.jsonl: ein JSON-Objekt pro Zeile, eine Zeile pro Lauf, jede am Ende der Datei angehängt. Hier ist eine Zeile:

{"started": 1794170907.41, "command": "ask", "model": "pl-scripted", "exit_code": 0, "tokens": 539, "seconds": 0.46}

Drei Dinge machen diese Form zu einer guten:

  • Anhängen schreibt frühere Zeilen nie neu, also kann ein Lauf, der mittendrin abstürzt, höchstens seine eigene Zeile verlieren, nie die von letzter Woche.

  • Jede Zeile ist für sich vollständiges JSON, also liest ein Programm die Datei Zeile für Zeile mit json.loads, so wie du in Python in der Praxis Dateien Zeile für Zeile gelesen hast.

  • Fast jedes Tool kann sie lesen, vom Import in eine Tabellenkalkulation bis zu ein paar Zeilen Python.

Die Standardbibliothek von Python hat ein Modul logging, das übliche Werkzeug für größere Programme, die viele Arten von Meldungen schreiben. Dieses Programm braucht einen Datensatz pro Lauf, also schreibt es seine Zeilen selbst.

Was in einen Datensatz gehört und was draußen bleibt

Ein Datensatz enthält sechs Schlüssel: "started", wann der Lauf begann (Sekunden seit 1970, aus time.time()); "command", den Namen des Befehls; "model"; "exit_code"; "tokens", die Tokens, die der Lauf verbraucht hat; und "seconds", wie lange er gedauert hat.

Er enthält keine Frage, keine Antwort und keinen Schlüssel. Ein Log lesen mehr Leute als die Person, die die Frage getippt hat: wer das Programm betreibt, wer es debuggt, wem die Datei geschickt wird. Fragen und Antworten können privat sein, und ein Schlüssel in einem Log ist ein geleakter Schlüssel. Zu protokollieren, was Leute gefragt haben, ist eine Entscheidung über ihre Privatsphäre, die bewusst getroffen und ihnen mitgeteilt wird, nie eine Voreinstellung.

log_run

log_run(path, record) hängt einen Datensatz an das Log an:

  1. Öffne path im Anhängemodus, "a", mit encoding="utf-8". Der Anhängemodus erstellt die Datei, wenn sie fehlt, und schreibt hinter das, was sie schon enthält. "w" würde die Datei zuerst leeren.

  2. Schreibe json.dumps(record) gefolgt von einem Zeilenumbruch. Ohne indent schreibt json.dumps das ganze Objekt in eine Zeile.

Die Funktion gibt nichts zurück.

main protokolliert den Lauf

main bekommt zwei Schlüsselwortparameter dazu, log_file=None und clock=time.time. log_file gibt an, wohin der Datensatz geschrieben wird, und None bedeutet kein Log, sodass Tests, Prüfungen und die Aufrufe aus Kapitel 11 nichts schreiben. clock ist die Funktion, die die Zeit liefert. Standardmäßig time.time zu übergeben und einen Aufrufer etwas anderes übergeben zu lassen, ist dieselbe Idee wie die Übergabe von sleep seit Kapitel 9: Eine Prüfung kann eine Fake-Uhr übergeben, die 100.0 und dann 102.5 zurückgibt, und weiß dann, dass der Lauf genau 2.5 Sekunden gedauert hat.

In main:

  • Lies started = clock() direkt nach dem Parsen der Argumente.

  • Behalte die Prüfung auf einen fehlenden Schlüssel aus Lektion 2 bei, aber setze statt sofort zurückzukehren code = 1 und überspringe den Befehl. Ein fehlender Schlüssel ist zu Hause der wahrscheinlichste Fehlschlag, also gehört er auch ins Log, mit 0 Tokens.

  • Andernfalls erstelle das Budget und hol dir code wie bisher von run_command.

  • Wenn log_file nicht None ist, rufe log_run mit diesem Datensatz auf und gib dann code zurück:

{
    "started": started,
    "command": args.command,
    "model": MODEL,
    "exit_code": code,
    "tokens": budget["used"],
    "seconds": clock() - started,
}

Beim Lauf mit fehlendem Schlüssel gibt es kein Budget, also ist tokens dort 0. Eine Möglichkeit ist ein tokens = 0 vor der Prüfung, das nach run_command auf budget["used"] gesetzt wird.

Ein Bedienungsfehler wird nicht protokolliert. argparse beendet das Programm mit Exit-Code 2 innerhalb von parse_args, bevor main einen Befehl hat, den es festhalten könnte.

Sorg zum Schluss dafür, dass ein Lauf aus dem Terminal ins echte Log schreibt. Ändere den Guard ganz unten zu:

if __name__ == "__main__":
    raise SystemExit(main(log_file=LOG_FILE))

Ausführen

Führe python stages.py aus. Der Block für Lektion 4 ruft dein main viermal auf, so wie das Terminal es tun würde, mit einem Log in einem temporären Ordner, damit die Demonstration nie etwas zu deinem eigenen study-assistant-log.jsonl hinzufügt, und gibt das Log und seine Zusammenfassung aus:

Lesson 4: four runs, logged
$ python study_assistant.py ask "How do I make an independent copy of a list?"
Use scores.copy() or list(scores). Both build a new list, so a change made through one name no longer shows through the other.

Sources: 03-lists#4
exit code 0
$ python study_assistant.py quiz 03-lists --count 1
1. For scores = [90, 72, 85], what is scores[-1]?
   a) 90
   b) 72
   c) 85

Answers: 1c
exit code 0
$ python study_assistant.py quiz 99-magic
Error: There is no note called 99-magic.
exit code 4
$ python study_assistant.py --budget 1000 ask "How do I make an independent copy of a list?"
Error: The budget ran out before agent step 2.
exit code 3
The log, one line per run:
{"started": 1794170907.412106, "command": "ask", "model": "pl-scripted", "exit_code": 0, "tokens": 539, "seconds": 0.46033787727355957}
{"started": 1794170907.873569, "command": "quiz", "model": "pl-scripted", "exit_code": 0, "tokens": 420, "seconds": 0.24816584587097168}
{"started": 1794170908.122124, "command": "quiz", "model": "pl-scripted", "exit_code": 4, "tokens": 0, "seconds": 0.0007469654083251953}
{"started": 1794170908.123203, "command": "ask", "model": "pl-scripted", "exit_code": 3, "tokens": 159, "seconds": 0.046597957611083984}
Its summary:
Runs: 4
By exit code: exit 0: 2, exit 3: 1, exit 4: 1
Tokens: 1118 in all, 280 per run
Slowest run: 0.5 seconds
Cost estimate: about $0.0002, counting every token at $0.14 per million
  (an estimate: the budget's own token count is an estimate, and a provider may
  route a call to an endpoint with another price)

Deine Werte für started und seconds weichen ab, und vielleicht auch der langsamste Lauf in der Zusammenfassung: Sie sind der Zeitpunkt deines Laufs und wie lange er gedauert hat. Alles andere stimmt überein. Der Budget-Lauf hat bei Agentenschritt 1 insgesamt 159 Tokens verbraucht und wurde vor Schritt 2 abgelehnt, also hält seine Zeile diese 159 Tokens und Exit-Code 3 fest.

Dann das Terminal: Führe python study_assistant.py ask "How do I make an independent copy of a list?" zweimal aus und öffne study-assistant-log.jsonl im Editor. Es hat seit deiner Änderung am Guard eine Zeile pro Lauf: zwei, wenn das die ersten waren.

Worauf du achten solltest

Der letzte Teil der Demonstration fasst sample-run-log.jsonl zusammen, eine erfundene Woche mit 28 Läufen, die für diese Lektion bereitgestellt wird, die Art von Log, die das Programm zu Hause schreiben würde:

The summary of sample-run-log.jsonl, a made-up week of runs supplied for this lesson:
Runs: 28
By exit code: exit 0: 22, exit 1: 4, exit 3: 2
Tokens: 44823 in all, 1601 per run
Slowest run: 64.2 seconds
Cost estimate: about $0.0063, counting every token at $0.14 per million
  (an estimate: the budget's own token count is an estimate, and a provider may
  route a call to an endpoint with another price)

summarize_log ist fertiger Code: Es liest die Datei Zeile für Zeile mit json.loads, zählt die Exit-Codes in einem Dictionary und addiert die Tokens. Lies die Zusammenfassung so, wie die Person, die das Programm betreibt, sie lesen würde:

  • Vier von 28 Läufen endeten mit Exit-Code 1. Ein steigender Anteil von Exit-Code 1 bedeutet, dass der Anbieter oder das Modell versagt. Das Log sagt, wie oft, nicht warum; die Error:-Zeile, die jeder gescheiterte Lauf ausgegeben hat, sagt warum, etwa ein Ratenlimit oder ein Modellfehler.

  • Zwei Läufe endeten mit Exit-Code 3. Läufe, die --budget erreichen, bedeuten, dass das Budget für das, was Leute fragen, zu knapp ist oder dass die Prompts wachsen. Beide haben unter 1800 Tokens verbraucht, also wurden sie mit einem kleinen --budget gestartet, etwa 2000. Das Log hält die Tokens fest, die ein Lauf verbraucht hat, nicht das Budget, das er bekommen hat, also kann die Zeile allein ein knappes Budget nicht von einem wachsenden Prompt unterscheiden.

  • Tokens pro Lauf sind die Zahl, die du über die Zeit beobachten solltest. Öffne die Datei: Die ask-Läufe wachsen von etwa 1900 Tokens am ersten Tag auf etwa 2600 am letzten. Wenn die Tokens pro Lauf langsam steigen, heißt das meist, dass längere Verläufe oder größere Suchergebnisse in jeden Prompt gehen.

  • Der langsamste Lauf hat 64.2 Sekunden gedauert und war trotzdem erfolgreich. Das ist ein Lauf, der etwa eine Minute ein Ratenlimit abgewartet hat, nah an MAX_WAIT. Die langsamsten Läufe zeigen, wo der Timeout und MAX_WAIT zuschlagen.

  • Die Kostenschätzung ist die Zahl, die du mit dem Guthabenlimit deines Schlüssels vergleichst. Hier hat eine Woche weit weniger als einen Cent gekostet, also lässt ein Limit von ein paar Dollar Raum für Fehler, ohne eine Katastrophe zuzulassen.

Warum öffnet log_run das Log mit "a" statt mit "w"?

Um schlechte Antworten zu debuggen, schlägt jemand vor, die Frage jedes Laufs in seinen Log-Datensatz aufzunehmen. Was solltest du tun?

Aufgabe

In study_assistant.py:

  1. Schreibe log_run(path, record): Öffne path mit "a" und encoding="utf-8", schreibe json.dumps(record) und einen Zeilenumbruch, und gib nichts zurück.

  2. Gib main zwei weitere Schlüsselwortparameter, log_file=None und clock=time.time. Lies started = clock() nach dem Parsen. Wenn der Schlüssel fehlt, behalte die Fehlerzeile aus Lektion 2 bei, setze aber den Exit-Code auf 1, statt zurückzukehren, und überspringe den Befehl. Wenn log_file nicht None ist, rufe log_run(log_file, record) mit den Schlüsseln "started", "command" (args.command), "model" (MODEL), "exit_code", "tokens" (die verbrauchten Tokens des Budgets, oder 0 ohne Schlüssel) und "seconds" (clock() - started) auf. Gib den Exit-Code zurück.

  3. Ändere den Guard zu raise SystemExit(main(log_file=LOG_FILE)).

Führe python stages.py aus, um vier protokollierte Läufe und zwei Zusammenfassungen zu sehen, und prüfe dann deine Arbeit.