LLM-Code testen
Zwei Prompts mit der Eval vergleichen
Eine Eval liefert ein Zahlenpaar für eine Version des Programms. Ihr Nutzen ist der Vergleich: ausführen, eine Sache ändern, noch einmal ausführen. Diese Lektion ändert die Systemnachricht und liest, was die Zahlen sagen können und was nicht.
Zwei Systemnachrichten
prompts.py enthält neben GROUNDED_SYSTEM aus Kapitel 8 eine zweite fundierte Systemnachricht, ALT_GROUNDED_SYSTEM:
ALT_GROUNDED_SYSTEM = (
"Answer the question. The user's message includes some passages from the "
"course notes that may help. Reply with JSON only: an object with answer "
"and citations, a list of passage labels."
)
Vergleiche sie mit GROUNDED_SYSTEM. Sie verlangt immer noch JSON mit answer und citations, sagt aber nie, dass nur aus den Passagen geantwortet werden soll, sagt nie, dass jede Passage mit ihrem Label in eckigen Klammern beginnt, sagt nie, dass nur diese Labels zitiert werden sollen, und sagt nie, was zu tun ist, wenn die Passagen die Frage nicht beantworten. Die Passagen „may help“, was das Modell einlädt, aus dem zu antworten, was es schon weiß, und zu zitieren, was plausibel aussieht.
Den Vergleich ausführen
Führe python evals.py aus. Nach der Eval aus Lektion 6 ruft die Demonstration das vorgegebene compare_prompts() auf. Es führt dein run_eval zweimal über dieselben zehn Fälle aus, einmal mit jeder Systemnachricht, und gibt beide aus:
Two system messages compared:
GROUNDED_SYSTEM: retrieval 9 of 10, citations 7 of 10, 3148 tokens
missed: Why should a default argument never be a list?
missed: How does pytest find my tests?
missed: How do I filter items with a list comprehension?
ALT_GROUNDED_SYSTEM: retrieval 9 of 10, citations 5 of 10, 2494 tokens
missed: Why should a default argument never be a list?
missed: What does a finally block do?
missed: How does range work in a for loop?
missed: How does pytest find my tests?
missed: How do I filter items with a list comprehension?
Das Retrieval liegt beide Male bei 9 von 10, wie es sein muss: Das Retrieval passiert, bevor das Modell gefragt wird, und die Systemnachricht ändert nicht, welche Passagen gewählt werden. Die Quellenangaben fallen von 7 auf 5. Die zwei zusätzlichen Fehltreffer sind die Fragen zu finally und range. Unter ALT_GROUNDED_SYSTEM zitieren ihre Antworten 07-errors#5 und 04-loops#1, Passagen, die nicht unter den gesendeten waren, also lehnt die Quellenprüfung sie ab. Die Alternative hat außerdem weniger Tokens verbraucht, 2494 gegenüber 3148, weil ihre Systemnachricht kürzer ist und mit jeder Frage gesendet wird.
Ist GROUNDED_SYSTEM also besser? In diesem Lauf, mit diesem Modell, sagen die Zahlen das. Hier ist, was sie nicht sagen.
Was das beim geskripteten Modell beweist
Nichts über die Prompts. pl-scripted liest eine Systemnachricht nicht so, wie ein Modell es tut. Es antwortet aus festen Zeilen, und jemand hat die Zeilen für finally und range so geschrieben, dass sie eine falsche Passage zitieren, wenn die Systemnachricht may help enthält. Der Vergleich zeigt, wie die Methode funktioniert: dieselben Fälle, eine Änderung, zwei Zahlenpaare und die Fehltreffer, die sich geändert haben. Er kann nicht zeigen, dass ein Prompt besser ist, weil die Antworten des geskripteten Modells im Voraus festgelegt wurden.
Was ein Unterschied bei zehn Fällen bedeutet
Bei zehn Fällen verschiebt ein Fall eine Punktzahl um zehn Prozentpunkte. Sieben gegenüber fünf sind zwei Fälle. Bei einem Live-Modell könnten sich zwei Fälle zwischen zwei Läufen desselben Prompts ändern, weil ein Live-Modell, wie Lektion 1 gezeigt hat, dieselbe Anfrage jedes Mal anders beantworten kann. Ein kleiner Unterschied bei einer kleinen Menge ist ebenso wahrscheinlich diese Schwankung wie eine Wirkung der Änderung.
Bevor du einem Vergleich auf einem Live-Modell traust:
führe jeden Prompt mehr als einmal aus und sieh dir an, wie stark sich seine eigenen Punktzahlen zwischen den Läufen bewegen;
traue nur einem Unterschied, der größer ist als diese Bewegung;
lies die Fehltreffer, die sich geändert haben, nicht nur die Zählungen, denn ein Fehltreffer kann die Schuld der Eval sein, etwa ein Fall, dessen Frage nichts in den Notizen beantwortet;
verwende mehr Fälle, wenn du kannst, damit ein einzelner Fall weniger zählt.
Live ausprobieren
Das ist optional. Wenn dein Konto Live-Zugang hat, kannst du den Vergleich auf pl-live ausführen. Im
python -c "import evals; evals.MODEL = 'pl-live'; evals.compare_prompts()"
answer_case liest den Modellnamen aus evals.MODEL, also schickt diese eine Zuweisung jede Eval-Frage an das Live-Modell. Das verbraucht 18 deiner täglichen Live-Anfragen, 9 pro Prompt (der pytest-Fall fragt nichts). Das ist mehr, als das Limit pro Minute erlaubt, also bekommen manche Aufrufe ein 429, dessen Retry-After die Anzahl Sekunden bis zum Beginn der nächsten Minute ist, und call_model wartet das ab: Der Lauf dauert ein bis zwei Minuten und gibt nichts aus, bis beide Evals fertig sind.
Ein Live-Lauf pro Prompt gibt dir jeweils ein Zahlenpaar, und wie stark sie schwanken, siehst du erst, wenn du sie an einem anderen Tag noch einmal ausführst. Versuche nicht mehrere Läufe in einer Sitzung; das Tageslimit stoppt dich vorher.
Die üblichen Hinweise zu pl-live gelten. Ein 403 bedeutet, dass dein Konto keinen Live-Zugang hat. Ein 429, bei dem call_model aufgibt, bedeutet, dass du das Tageslimit erreicht hast. Ein Lese-Timeout ist bei einem Live-Modell ein normales Ergebnis, weil es länger nachdenken kann als die Lesegrenze dieses Kurses; call_model versucht es erneut, und nach drei Timeouts stoppt der Lauf mit dem Fehler. Eine Antwort, die bei max_tokens aufhört, löst ReplyCutOff aus. run_eval fängt nur ValueError ab, also stoppt der Lauf dort. Bei diesen kurzen Antworten ist das selten. Wenn es passiert, führe den Vergleich an einem anderen Tag noch einmal aus.
In einem Live-Lauf erreicht Prompt A bei den Quellenangaben 7 von 10 und Prompt B 5 von 10. Was sagt dir das?
compare_prompts() auf pl-scripted gibt GROUNDED_SYSTEM 7 von 10 und ALT_GROUNDED_SYSTEM 5 von 10. Warum beweist das nichts über die beiden Prompts?
Du willst wissen, ob eine neue Systemnachricht auf dem Live-Modell wirklich besser ist. Was solltest du tun, bevor du dem Vergleich traust?