LLM-Code testen · Abschlussprojekt
Abschlussprojekt: Projekt: Tests für den Lernassistenten
Die Lektionen 2 bis 5 haben jeweils eine Funktion mit einer Technik getestet. Das Abschlussprojekt im nächsten Kapitel bringt das Gespräch, das Retrieval-Tool und die Agentenschleife hinter eine
Die Aufgabe
Schreibe tests/test_study_assistant.py mit Tests für drei Funktionen:
trim_history(history, max_messages)inconversation.py, das Kürzen aus Kapitel 2: Es gibt eine neue Liste zurück, die eine Systemnachricht am Anfang behält, die ältesten ganzen Runden (eine User-Nachricht und die Antwort darauf) entfernt, bis der Verlauf inmax_messagespasst, und nie die neueste Frage entfernt.search_notes(arguments)inretrieval.py, das Tool aus Kapitel 8: Fürarguments["query"]gibt es die bestenKPassagen der mitgelieferten Notizen zurück, jede beginnend mit ihrem Label in eckigen Klammern, etwa[03-lists#4], getrennt durch Leerzeilen, oderNo note matches that search., wenn keine ein Wort mit der Suchanfrage gemeinsam hat.Das endgültige
run_agent(question, *, client, tools, system, approve, max_steps, budget, sleep)inreliable.py, wie in den Lektionen 3 und 5. Es stoppt mit"answered","budget","stuck"oder"max_steps", fragtapprove, bevor essave_flashcardausführt, und hält dietotal_tokensjedes Schritts im Trace fest.
Die Suite muss gegen den korrekten Code bestehen und gegen jeden dieser elf Defekte fehlschlagen:
trim_historyentfernt die Systemnachricht zusammen mit alten Runden;trim_historyentfernt eine Nachricht nach der anderen statt ganzer Runden;trim_historykürzt die Liste des Aufrufers direkt und gibt sie zurück;search_notesgibt jeden passenden Abschnitt zurück, nicht die bestenK;search_noteslässt das[label]am Anfang jeder Passage weg;search_notesgibt""stattNo note matches that search.zurück;run_agentignoriertmax_steps;run_agentlässtBudgetExceededentkommen, statt den Stoppgrund"budget"zurückzugeben;run_agentstoppt einen wiederholten Aufruf nie ("stuck");run_agentführtsave_flashcardohne Genehmigung aus;run_agenthält im Trace die Prompt-Tokens jedes Schritts fest statt seiner Gesamtzahl.
Jeder Defekt ist etwas, das ein müder Mensch wirklich schreiben könnte, und jeder würde den Lernassistenten bei den meisten Fragen gut aussehen lassen. Ein Test kann mehr als einen davon erwischen, und ein Defekt kann einen eigenen Test brauchen.
Was du brauchst
Ein Verlauf zum Kürzen. Schreibe ihn als Liste von Dictionaries in die Testdatei: eine Systemnachricht, dann Runden, am Ende eine User-Nachricht. Sechs Nachrichten auf 5 gekürzt ist ein guter Fall, weil sich bei einem ungeraden Limit das Entfernen einzelner Nachrichten und das Entfernen ganzer Runden im Ergebnis unterscheiden. Überlege dir von Hand, welche Nachrichten übrig bleiben sollten, bevor du die Zusicherung schreibst.
Tests von search_notes lesen die mitgelieferten Notizen, über Path("notes"), relativ zum Projektordner, wie die Aufzeichnungen aus Lektion 4. Prüfe deshalb die Struktur des Ergebnisses statt ganzer Passagen, die kaputtgingen, sobald jemand eine Notiz bearbeitet: Teile es an "\n\n" auf, prüfe, dass es K Passagen sind, mit den mitgelieferten Einstellungen drei, und prüfe, wie die erste beginnt. Für die Suchanfrage independent copy of a list ist die beste Passage 03-lists#4. Für capital of France passt keine Notiz.
Eigene Tools für run_agent. Gib dem Agenten wie in den Lektionen 3 und 5 kleine eigene Tool-Funktionen unter echten Tool-Namen: ein read_note, das einen festen String zurückgibt, und ein save_flashcard, das "Saved." zurückgibt, ohne etwas zu schreiben. Ein abgelehnter Aufruf führt das Tool nie aus; sein Ergebnis im Trace ist Error: save_flashcard was not approved, so it did not run. Schreibe Tool-Argumente als literale Strings aus, etwa '{"note_id": "n1"}'.
Ein Budget, das im richtigen Moment ausgeht. call_model lehnt einen Aufruf ab, wenn seine Schätzung größer ist als das, was übrig ist (Kapitel 9, Lektion 6): die Zeichen jeder Nachricht, deren Inhalt ein String ist, geteilt durch 4, plus 800 für die Antwort. Mit der Systemnachricht "S" und der Frage "Q?" ist die Schätzung des ersten Schritts 3 / 4 + 800 = 800.75. Fordert die erste Antwort ein Tool an, dessen Ergebnis 10 Zeichen lang ist, etwa "Ten chars.", kommen in der zweiten Anfrage die Assistant-Runde (Inhalt None, nicht gezählt) und die Tool-Nachricht hinzu, also ist ihre Schätzung 13 / 4 + 800 = 803.25. Nach einer ersten Antwort mit 15 Tokens lässt ein Limit von 810 noch 795 übrig, also wird der zweite Aufruf abgelehnt, und der Stoppgrund ist "budget". Ein Limit von 850 lässt 835 übrig, und der Agent antwortet.
Die Suite ausführen
Führe deine Suite im
python -m pytest -q tests/test_study_assistant.py
Die Referenzsuite für dieses Projekt hat 13 Tests. Deine kann mehr oder weniger haben:
............. [100%]
13 passed in 0.23s
python -m pytest -q ohne Datei führt diese Datei und die aus den Lektionen 2 bis 5 zusammen aus.
Zwei Arten, sich täuschen zu lassen, wie beim Projekt in Python in der Praxis. Eine Suite, die immer rot ist, erwischt gar nichts; sie ist einfach kaputt. Und ein rotes Ergebnis, weil pytest die Datei nicht sammeln oder ein Modul nicht importieren konnte, hat dir über keinen Defekt etwas gesagt. Prüfe, dass die Suite beim korrekten Code grün ist, bevor du einem roten Ergebnis glaubst.
Wenn du sehen willst, wie ein Test einen Defekt erwischt, kannst du selbst einen einbauen: Ändere in deiner Kopie von conversation.py in trim_history die Zeile turns = turns[2:] zu turns = turns[1:], führe die Suite aus, lies, welcher Test fehlgeschlagen ist und warum, und ändere es dann zurück. Die Prüfung deiner Arbeit verwendet eigene Kopien, also kann das deine Bewertung nicht beeinflussen.
Wie deine Suite geprüft wird
So, wie Python in der Praxis die Suite seines Projekts geprüft hat. tests/test_study_assistant.py läuft mit pytest, mit einem Zeitlimit, in einer schreibgeschützten Kopie des Projekts, die die eigenen Kopien der Prüfung von allen Kursdateien, fakes.py, den mitgelieferten Notizen und den Aufzeichnungen enthält. Die Suite muss:
sich ohne Fehler sammeln lassen, mit mindestens einem Test;
beim korrekten Code zweimal bestehen;
den Projektordner unverändert lassen, also schreibt ein Test Dateien nur unter
tmp_path;nie
llm-apiaufrufen;bei jedem der elf Defekte fehlschlagen, die jeweils eingebaut werden, indem eine Funktion in der Kopie der Prüfung ersetzt wird.
Ein Defekt gilt nur dann als erwischt, wenn ein fehlschlagender Test die ersetzte Funktion aufgerufen hat, also bekommt eine Suite, die aus einem anderen Grund fehlschlägt, keine Punkte. Die Rückmeldung nennt den ersten Defekt, den kein Test erwischt hat, mit den Worten der Liste oben und mit einem Hinweis auf den Test, der ihn erwischen würde.
Warum einen Verlauf von sechs Nachrichten auf 5 kürzen statt auf 4?
Deine Suite schlägt beim korrekten Code fehl, weil pytest ein Modul nicht importieren konnte. Was hat sie dir über die elf Defekte gesagt?
Aufgabe
Schreibe tests/test_study_assistant.py mit Tests für trim_history (conversation.py), search_notes (retrieval.py, liest die mitgelieferten Notizen) und run_agent (reliable.py). Die Suite muss beim korrekten Code bestehen und bei jedem der elf Defekte aus der Lektion fehlschlagen: drei in trim_history, drei in search_notes und fünf in run_agent.
Verwende für run_agent einen FakeClient und eigene Tool-Funktionen, schreibe Tool-Argumente als literale Strings, verwende Pfade relativ zum Projektordner und schreibe Dateien nur unter tmp_path. Führe python -m pytest -q tests/test_study_assistant.py im