0%

LLM-Code testen · Abschlussprojekt

Abschlussprojekt: Projekt: Tests für den Lernassistenten

Die Lektionen 2 bis 5 haben jeweils eine Funktion mit einer Technik getestet. Das Abschlussprojekt im nächsten Kapitel bringt das Gespräch, das Retrieval-Tool und die Agentenschleife hinter eine , und du wirst sie weiter ändern. Eine Testsuite, die bemerken würde, wenn sie kaputtgehen, macht diese Änderungen sicher. Dieses Projekt schreibt sie.

Die Aufgabe

Schreibe tests/test_study_assistant.py mit Tests für drei Funktionen:

  • trim_history(history, max_messages) in conversation.py, das Kürzen aus Kapitel 2: Es gibt eine neue Liste zurück, die eine Systemnachricht am Anfang behält, die ältesten ganzen Runden (eine User-Nachricht und die Antwort darauf) entfernt, bis der Verlauf in max_messages passt, und nie die neueste Frage entfernt.

  • search_notes(arguments) in retrieval.py, das Tool aus Kapitel 8: Für arguments["query"] gibt es die besten K Passagen der mitgelieferten Notizen zurück, jede beginnend mit ihrem Label in eckigen Klammern, etwa [03-lists#4], getrennt durch Leerzeilen, oder No note matches that search., wenn keine ein Wort mit der Suchanfrage gemeinsam hat.

  • Das endgültige run_agent(question, *, client, tools, system, approve, max_steps, budget, sleep) in reliable.py, wie in den Lektionen 3 und 5. Es stoppt mit "answered", "budget", "stuck" oder "max_steps", fragt approve, bevor es save_flashcard ausführt, und hält die total_tokens jedes Schritts im Trace fest.

Die Suite muss gegen den korrekten Code bestehen und gegen jeden dieser elf Defekte fehlschlagen:

  1. trim_history entfernt die Systemnachricht zusammen mit alten Runden;

  2. trim_history entfernt eine Nachricht nach der anderen statt ganzer Runden;

  3. trim_history kürzt die Liste des Aufrufers direkt und gibt sie zurück;

  4. search_notes gibt jeden passenden Abschnitt zurück, nicht die besten K;

  5. search_notes lässt das [label] am Anfang jeder Passage weg;

  6. search_notes gibt "" statt No note matches that search. zurück;

  7. run_agent ignoriert max_steps;

  8. run_agent lässt BudgetExceeded entkommen, statt den Stoppgrund "budget" zurückzugeben;

  9. run_agent stoppt einen wiederholten Aufruf nie ("stuck");

  10. run_agent führt save_flashcard ohne Genehmigung aus;

  11. run_agent hält im Trace die Prompt-Tokens jedes Schritts fest statt seiner Gesamtzahl.

Jeder Defekt ist etwas, das ein müder Mensch wirklich schreiben könnte, und jeder würde den Lernassistenten bei den meisten Fragen gut aussehen lassen. Ein Test kann mehr als einen davon erwischen, und ein Defekt kann einen eigenen Test brauchen.

Was du brauchst

Ein Verlauf zum Kürzen. Schreibe ihn als Liste von Dictionaries in die Testdatei: eine Systemnachricht, dann Runden, am Ende eine User-Nachricht. Sechs Nachrichten auf 5 gekürzt ist ein guter Fall, weil sich bei einem ungeraden Limit das Entfernen einzelner Nachrichten und das Entfernen ganzer Runden im Ergebnis unterscheiden. Überlege dir von Hand, welche Nachrichten übrig bleiben sollten, bevor du die Zusicherung schreibst.

Tests von search_notes lesen die mitgelieferten Notizen, über Path("notes"), relativ zum Projektordner, wie die Aufzeichnungen aus Lektion 4. Prüfe deshalb die Struktur des Ergebnisses statt ganzer Passagen, die kaputtgingen, sobald jemand eine Notiz bearbeitet: Teile es an "\n\n" auf, prüfe, dass es K Passagen sind, mit den mitgelieferten Einstellungen drei, und prüfe, wie die erste beginnt. Für die Suchanfrage independent copy of a list ist die beste Passage 03-lists#4. Für capital of France passt keine Notiz.

Eigene Tools für run_agent. Gib dem Agenten wie in den Lektionen 3 und 5 kleine eigene Tool-Funktionen unter echten Tool-Namen: ein read_note, das einen festen String zurückgibt, und ein save_flashcard, das "Saved." zurückgibt, ohne etwas zu schreiben. Ein abgelehnter Aufruf führt das Tool nie aus; sein Ergebnis im Trace ist Error: save_flashcard was not approved, so it did not run. Schreibe Tool-Argumente als literale Strings aus, etwa '{"note_id": "n1"}'.

Ein Budget, das im richtigen Moment ausgeht. call_model lehnt einen Aufruf ab, wenn seine Schätzung größer ist als das, was übrig ist (Kapitel 9, Lektion 6): die Zeichen jeder Nachricht, deren Inhalt ein String ist, geteilt durch 4, plus 800 für die Antwort. Mit der Systemnachricht "S" und der Frage "Q?" ist die Schätzung des ersten Schritts 3 / 4 + 800 = 800.75. Fordert die erste Antwort ein Tool an, dessen Ergebnis 10 Zeichen lang ist, etwa "Ten chars.", kommen in der zweiten Anfrage die Assistant-Runde (Inhalt None, nicht gezählt) und die Tool-Nachricht hinzu, also ist ihre Schätzung 13 / 4 + 800 = 803.25. Nach einer ersten Antwort mit 15 Tokens lässt ein Limit von 810 noch 795 übrig, also wird der zweite Aufruf abgelehnt, und der Stoppgrund ist "budget". Ein Limit von 850 lässt 835 übrig, und der Agent antwortet.

Die Suite ausführen

Führe deine Suite im aus, während du sie schreibst:

python -m pytest -q tests/test_study_assistant.py

Die Referenzsuite für dieses Projekt hat 13 Tests. Deine kann mehr oder weniger haben:

.............                                                            [100%]
13 passed in 0.23s

python -m pytest -q ohne Datei führt diese Datei und die aus den Lektionen 2 bis 5 zusammen aus.

Zwei Arten, sich täuschen zu lassen, wie beim Projekt in Python in der Praxis. Eine Suite, die immer rot ist, erwischt gar nichts; sie ist einfach kaputt. Und ein rotes Ergebnis, weil pytest die Datei nicht sammeln oder ein Modul nicht importieren konnte, hat dir über keinen Defekt etwas gesagt. Prüfe, dass die Suite beim korrekten Code grün ist, bevor du einem roten Ergebnis glaubst.

Wenn du sehen willst, wie ein Test einen Defekt erwischt, kannst du selbst einen einbauen: Ändere in deiner Kopie von conversation.py in trim_history die Zeile turns = turns[2:] zu turns = turns[1:], führe die Suite aus, lies, welcher Test fehlgeschlagen ist und warum, und ändere es dann zurück. Die Prüfung deiner Arbeit verwendet eigene Kopien, also kann das deine Bewertung nicht beeinflussen.

Wie deine Suite geprüft wird

So, wie Python in der Praxis die Suite seines Projekts geprüft hat. tests/test_study_assistant.py läuft mit pytest, mit einem Zeitlimit, in einer schreibgeschützten Kopie des Projekts, die die eigenen Kopien der Prüfung von allen Kursdateien, fakes.py, den mitgelieferten Notizen und den Aufzeichnungen enthält. Die Suite muss:

  • sich ohne Fehler sammeln lassen, mit mindestens einem Test;

  • beim korrekten Code zweimal bestehen;

  • den Projektordner unverändert lassen, also schreibt ein Test Dateien nur unter tmp_path;

  • nie llm-api aufrufen;

  • bei jedem der elf Defekte fehlschlagen, die jeweils eingebaut werden, indem eine Funktion in der Kopie der Prüfung ersetzt wird.

Ein Defekt gilt nur dann als erwischt, wenn ein fehlschlagender Test die ersetzte Funktion aufgerufen hat, also bekommt eine Suite, die aus einem anderen Grund fehlschlägt, keine Punkte. Die Rückmeldung nennt den ersten Defekt, den kein Test erwischt hat, mit den Worten der Liste oben und mit einem Hinweis auf den Test, der ihn erwischen würde.

Warum einen Verlauf von sechs Nachrichten auf 5 kürzen statt auf 4?

Deine Suite schlägt beim korrekten Code fehl, weil pytest ein Modul nicht importieren konnte. Was hat sie dir über die elf Defekte gesagt?

Aufgabe

Schreibe tests/test_study_assistant.py mit Tests für trim_history (conversation.py), search_notes (retrieval.py, liest die mitgelieferten Notizen) und run_agent (reliable.py). Die Suite muss beim korrekten Code bestehen und bei jedem der elf Defekte aus der Lektion fehlschlagen: drei in trim_history, drei in search_notes und fünf in run_agent.

Verwende für run_agent einen FakeClient und eigene Tool-Funktionen, schreibe Tool-Argumente als literale Strings, verwende Pfade relativ zum Projektordner und schreibe Dateien nur unter tmp_path. Führe python -m pytest -q tests/test_study_assistant.py im aus, bis es grün ist, und prüfe dann deine Arbeit.