Kapitel 10
LLM-Code testen
Warum du nicht die exakte Antwort prüfen kannst
Der Lernassistent kann aus den Notizen antworten, einen Agenten ausführen, ein Quiz erstellen und chatten, und seit Kapitel 9 scheitert jeder Aufruf sauber. Woher weißt du, dass er weiter funktioniert, wenn du ihn änderst? In Python in der Praxis hast du Tests geschrieben: eine Funktion aufrufen, das Ergebnis mit dem erwarteten Wert vergleichen und pytest melden lassen, wenn die beiden nicht übereinstimmen. Das funktioniert für trim_history. Für eine Antwort, die ein Modell geschrieben hat, funktioniert es so nicht.
Dein Projekt für dieses Kapitel
Öffne evals.py im Projekteditor. Das ist die Einstiegsdatei dieses Kapitels: In der Shell führt python evals.py ihre Demonstration aus. Du baust vier ihrer Funktionen: save_response in Lektion 4 sowie retrieval_hit, citation_hit und run_eval in Lektion 6. Der Rest ist fertiger Code, den die Demonstration verwendet.
Das meiste, was du in diesem Kapitel schreibst, sind Tests. Sie kommen in den Ordner tests, eine Datei pro Lektion: test_fake_client.py, test_agent.py, test_recorded.py, test_properties.py und für das Projekt test_study_assistant.py. Jede Datei beginnt mit einem Docstring und den Imports, die ihre Lektion braucht, und enthält noch keine Tests. tests/recordings enthält zwei gespeicherte Antworten eines Live-Modells, die du weiter unten kennenlernst.
reliable.py ist jetzt die fertige Datei aus Kapitel 9, und die Dateien, die sie importiert, liegen wie bisher daneben. Deine Tests importieren und prüfen sie. Du musst keine davon ändern. Die Prüfung deiner Arbeit verwendet eigene Kopien, sodass eine Änderung dort keine Bewertung beeinflussen kann, aber sie kann die Demonstration oder deine Tests lahmlegen.
Zwei weitere Dateien sind neu. fakes.py ist der Fake-Client, der deine Arbeit seit Kapitel 5 prüft; Lektion 2 zeigt dir, wie du ihn verwendest. requirements-dev.txt listet auf, was ein Entwickler dieses Projekts braucht: alles aus requirements.txt plus pytest==9.1.1, dieselbe Aufteilung wie in Python in der Praxis. In der Sandbox ist pytest bereits installiert.
Eine Frage, zwei Live-Antworten
Führe jetzt in der Shell python evals.py aus. Die Demonstration beginnt mit show_variability(), die die beiden Aufzeichnungen liest und ausgibt. Sie ruft kein Modell auf. Beide sind Antworten des Modells von pl-live, openai/gpt-oss-20b, aufgezeichnet am 08.11.2026, auf dieselbe Frage ohne angehängte Notizen. Es sind die beiden anderen Stichproben, die Kapitel 8 erwähnt hat, diesmal vollständig.
Two live answers to: What example list does the Python Land lists note use, and what values are in it?
--- live-lists-note.json (openai/gpt-oss-20b, recorded on 2026-11-08)
In the “Lists” section on the Python Language reference (the “Python Land” page for the list type), the example that is repeatedly referenced is the list
```python
[1, 2, 3, 4, 5, 6, 7, 8, 9]
```
The note states that this list contains nine integer values, numbered consecutively from 1 to 9.
--- live-lists-note-2.json (openai/gpt-oss-20b, recorded on 2026-11-08)
In the “lists” chapter of the *Python Land* notes, the canonical example that is used whenever a list is introduced is the list
```python
['spam', 'ham', 'eggs']
```
That list contains three string elements:
| Index | Value |
|------|-------|
| 0 | `'spam'` |
| 1 | `'ham'` |
| 2 | `'eggs'` |
The chapter uses this list repeatedly to illustrate list creation, indexing, mutating, slicing, and other list operations. No other values are in that example list – it’s just those three strings.
--- What notes/03-lists.md says:
A list is an ordered collection of values. You write one with square brackets, such as `scores = [90, 72, 85]`. A list can hold values of any type, including a mix of types and other lists.
Your tests do not run here. Run them in the terminal: python -m pytest -q
Recording the copy question's reply:
Run stopped at the next function to build: save_response is built in Lesson 4.
Lies die beiden Antworten und vergleiche sie mit dem letzten Absatz, der die Notiz selbst ist. Die erste sagt, die Notiz über Listen verwende [1, 2, 3, 4, 5, 6, 7, 8, 9]. Die zweite, ein paar Sekunden später, sagt ['spam', 'ham', 'eggs'] und fügt eine Tabelle hinzu. Die Liste in der Notiz ist scores = [90, 72, 85]. Zwei Läufe derselben Anfrage lieferten zwei verschiedene Listen, und beide sind falsch.
Ein Live-Modell wählt jedes Wort mit einem gewissen Zufall, sodass dieselbe Anfrage anders formuliert, länger oder kürzer oder mit anderen Fakten zurückkommen kann. Ohne die Notizen in der Anfrage hatte dieses Modell keine Grundlage und hat sich etwas ausgedacht, jedes Mal etwas anderes. Die fundierten Antworten aus Kapitel 8 sind viel besser, aber auch sie sind von einem Lauf zum nächsten anders formuliert.
Warum assert answer == expected scheitert
Angenommen, du schreibst diesen Test:
def test_the_lists_answer():
answer = ask("What example list does the Python Land lists note use, and what values are in it?", client=make_client())
assert answer == "The note uses scores = [90, 72, 85]."
Gegen ein Live-Modell schlägt er fast bei jedem Lauf fehl, selbst an einem Tag, an dem die Antwort stimmt, weil die Formulierung abweicht. Gegen pl-scripted besteht er vielleicht jedes Mal, aber nur, weil jemand genau diesen Satz in die Tabelle des geskripteten Modells geschrieben hat. Ein bestandener Lauf beweist dann, dass die Tabelle diese Zeile enthält. Er sagt nichts darüber, was ein Live-Modell antworten würde, oder darüber, ob dein Code mit einer Antwort zurechtkommt, die er noch nie gesehen hat. Der Test braucht außerdem einen laufenden Dienst, und mit einem Live-Modell kostet jeder Lauf Geld.
Was ein Test stattdessen prüfen kann
Ein Test von Code, der ein Modell aufruft, prüft dein Programm, nicht das Modell. Vier Arten von Prüfungen sind belastbar:
Die Anfrage. Dein Code bestimmt den Modellnamen, die Nachrichten, die Tools und das Format. Ein Test kann genau prüfen, was gesendet wurde.
Was dein Code mit jeder Art von Antwort macht. Text, kein Text, ein Tool-Aufruf, eine abgeschnittene Antwort, ein 429, ein 500: Ein Fake-Client kann deinem Code jede davon übergeben, in beliebiger Reihenfolge, ohne den Dienst. Die Lektionen 2 bis 4 machen das, Lektion 4 mit einer echten Antwort, die in einer Datei gespeichert ist.
Eigenschaften, die jede akzeptable Antwort hat. Du kannst nicht sagen, welche Wörter eine gute Antwort verwendet, aber du kannst sagen, was jedes akzeptable Ergebnis hat: Es lässt sich als
CitedAnswervalidieren, es zitiert nur Passagen, die es bekommen hat, und der Agent hört innerhalb seines Schrittlimits und seines Budgets auf. Lektion 5 prüft solche Eigenschaften über viele Antworten hinweg.Qualität, als Erfolgsquote. Ob Antworten gut sind, ist keine Ja-oder-Nein-Frage zu einer einzelnen Antwort. Lektion 6 baut eine Eval: eine feste Menge von Fragen, jede mit dem, was ein gutes Ergebnis enthalten muss, bewertet als Anzahl von zehn. Lektion 7 verwendet sie, um zwei Systemnachrichten zu vergleichen.
Die ersten drei laufen in einem Bruchteil einer Sekunde ohne Netzwerk und liefern jedes Mal dasselbe Ergebnis, deshalb gehören sie in python -m pytest -q. Die vierte ruft das Modell auf und ist eine Messung, kein Bestanden oder Durchgefallen.
Der Plan für dieses Kapitel
Lektion 2 testet ask mit dem mitgelieferten Fake-Client, und Lektion 3 testet die ganze Agentenschleife, indem sie eine Tool-Anforderung und eine Antwort skriptet. Lektion 4 speichert eine echte Antwort in einer Datei und spielt sie in einem Test erneut ab. Lektion 5 schreibt Tests, die für jede akzeptable Antwort gelten. Die Lektionen 6 und 7 bauen die Eval und vergleichen damit zwei Prompts. Das Projekt, Lektion 8, ist eine Testsuite für trim_history, search_notes und run_agent, die elf Arten bemerken muss, wie der Code kaputtgehen könnte.
Warum schlägt assert answer == "The note uses scores = [90, 72, 85]." gegen ein Live-Modell fehl, selbst bei einem Lauf, in dem die Antwort richtig ist?
Welche dieser Prüfungen gilt für jede akzeptable Antwort, die answer_from_notes auf die Kopierfrage zurückgibt?
Ein Test sendet die Kopierfrage über make_client() an pl-scripted und besteht. Was beweist das?