Strukturierte Ausgabe · Übung
Bei ungültiger Ausgabe einmal neu fragen
Die Validierung sagt dir, wann eine Antwort falsch ist und was genau falsch ist. Ein Programm, das an dieser Stelle aufgibt, verschwendet einen Aufruf, der fast richtig war. Die übliche Lösung: einmal erneut fragen und dem Modell sagen, was falsch war.
Zeig dem Modell seine Antwort und den Fehler
Ein Modell merkt sich zwischen Anfragen nichts, wie Kapitel 2 gezeigt hat: Jede Anfrage enthält das ganze Gespräch. Um eine Korrektur anzufordern, sendest du deshalb das Gespräch in seinem aktuellen Stand: die ursprünglichen Nachrichten, die eigene ungültige Antwort des Modells als assistant-Nachricht und eine user-Nachricht, die sagt, was daran falsch war.
[
{"role": "system", "content": "You write multiple-choice quiz questions ..."},
{"role": "user", "content": "Write three multiple-choice questions about the note below. ..."},
{"role": "assistant", "content": '{"questions": [{"question": "What does len() return?", ..., "answer_index": "abc"}]}'},
{"role": "user", "content": "Your last reply was invalid: questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer"},
]
Das Modell sieht jetzt, was es geschrieben hat, und das genaue Problem, und das ist genau das, was error_lines erzeugt. Deshalb liefert error_lines kurze Zeilen statt des vollständig ausgegebenen Fehlers: Die ausgegebene Form enthält einen Link zur Dokumentation und Details für Programmierer, und jedes Zeichen, das du sendest, ist ein Token, das du bezahlst.
Das Feedback beginnt mit INVALID_PREFIX aus prompts.py, Your last reply was invalid:. Ein Live-Modell versteht jede Formulierung. Das geskriptete Modell prüft nur, ob die letzte User-Nachricht mit diesem Text beginnt, und sendet dann die korrigierte Antwort auf den Prompt davor. SCRIPTED_MODEL.md beschreibt diese Regel und die Prompts, die beim ersten Mal absichtlich falsch beantwortet werden.
Baue retry_request
retry_request(body, bad_text, error) nimmt den gesendeten Body, den Antworttext, der gescheitert ist, und den ValidationError entgegen und gibt den Body zurück, der als Nächstes gesendet wird:
Kopiere den Body mit
body.copy(), damitmodel,response_formatund alle anderen Schlüssel mitkommen.Gib der Kopie eine neue Liste
messages:body["messages"]plus zwei weitere Nachrichten, denbad_textdes Assistenten und das Feedback des Nutzers.Das Feedback ist
f"{INVALID_PREFIX} ", gefolgt von den Zeilen auserror_lines(error), verbunden mit"; ".
body.copy() kopiert das Dictionary, aber "messages" in der Kopie verweist weiterhin auf dieselbe Liste wie im Original. Ein Anhängen an retry["messages"] würde also auch die Liste des Aufrufers ändern. body["messages"] + [...] baut eine neue Liste und lässt das Original in Ruhe, und genau das willst du: Der Aufrufer braucht seinen Body vielleicht noch so, wie er war.
Warum nur einmal
Wenn auch die korrigierte Antwort ungültig ist, hör auf. Zwei Fehlschläge hintereinander zeigen, dass die Anfrage das Problem ist und nicht Pech: Der Prompt ist unklar, die Form ist für dieses Modell zu schwierig, oder die Notiz verwirrt es. Eine Schleife, die immer weiter fragt, kann lange an einem Problem laufen, das sich durch mehr Fragen nicht lösen lässt.
Außerdem kostet es. Jeder erneute Versuch sendet das ganze Gespräch noch einmal, jetzt um die schlechte Antwort und das Feedback länger, er kostet also mehr Eingabe-Tokens als der erste Versuch. Ein erneuter Versuch behebt den gelegentlichen Ausrutscher. Alles darüber hinaus heißt, dafür zu bezahlen, ein Problem zu verdecken, das du dir ansehen solltest.
Ausführen
Führe python structured.py aus. Die Demonstration sendet give me broken json mit json_object, einen Prompt, den das geskriptete Modell beim ersten Mal absichtlich falsch beantwortet. Sie zeigt die Antwort, baut den erneuten Versuch mit deinem retry_request, gibt das mitgesendete Feedback aus, sendet ihn und validiert die Antwort:
bad_text = answer_text(send_body(broken))
try:
parse_quiz(bad_text)
except ValidationError as error:
retry = retry_request(broken, bad_text, error)
A reply that fails validation, and one retry:
First reply: {"questions": [{"question": "What does len() return?", "choices": ["The number of items", "The last item", "The first item"], "answer_index": "abc"}]}
Feedback sent: Your last reply was invalid: questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer
After the retry: QuizSet(questions=[QuizQuestion(question='What does len() return?', choices=['The number of items', 'The last item', 'The first item'], answer_index=0)])
The quiz for notes/03-lists.md:
Run stopped at the next function to build: make_quiz is built in Lesson 9.
Die erste Antwort hatte "abc", wo eine ganze Zahl hingehört. Der erneute Versuch enthielt diese Antwort und eine Zeile Feedback, und die zweite Antwort war als QuizSet gültig. Das Abschlussprojekt fügt diese Schritte zusammen.
Warum enthält der erneute Versuch die ungültige Antwort als assistant-Nachricht?
Auch die Antwort auf den erneuten Versuch ist ungültig. Was soll das Programm tun?
Aufgabe
Ersetze in structured.py den unfertigen Rumpf von retry_request(body, bad_text, error).
Gib eine Kopie von body zurück, deren "messages" eine neue Liste ist: die Nachrichten von body, dann
{"role": "assistant", "content": bad_text}, die gescheiterte Antwort;{"role": "user", "content": ...}, wobei der Inhaltf"{INVALID_PREFIX} "ist, gefolgt von den Zeilen auserror_lines(error), verbunden mit"; ".
Alle anderen Schlüssel von body, etwa model und response_format, bleiben, wie sie waren. Der body des Aufrufers und seine Liste messages dürfen sich nicht ändern. Führe python structured.py aus, um zu sehen, wie eine ungültige Antwort nach einem erneuten Versuch korrigiert wird, und prüfe dann deine Arbeit.