Gestructureerde uitvoer · oefening
Probeer het één keer opnieuw bij ongeldige uitvoer
Validatie vertelt je wanneer een antwoord fout is en hoe precies. Een programma dat dan opgeeft, verspilt een aanroep die bijna goed was. De gebruikelijke oplossing is het nog één keer te vragen, en het model te vertellen wat er mis was.
Laat het model zijn antwoord zien en wat er mis was
Een model onthoudt niets tussen requests, zoals hoofdstuk 2 liet zien: elk request bevat het hele gesprek. Wil je om een verbetering vragen, dan stuur je dus het gesprek zoals het er nu voor staat: de oorspronkelijke berichten, het eigen ongeldige antwoord van het model als assistant-bericht, en een user-bericht dat zegt wat eraan mis was.
[
{"role": "system", "content": "You write multiple-choice quiz questions ..."},
{"role": "user", "content": "Write three multiple-choice questions about the note below. ..."},
{"role": "assistant", "content": '{"questions": [{"question": "What does len() return?", ..., "answer_index": "abc"}]}'},
{"role": "user", "content": "Your last reply was invalid: questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer"},
]
Het model ziet nu wat het schreef en het precieze probleem, en dat is precies wat error_lines maakt. Daarom geeft error_lines korte regels in plaats van de hele afgedrukte fout: de afgedrukte vorm heeft een link naar de documentatie en details voor programmeurs, en elk teken dat je verstuurt is een token waarvoor je betaalt.
De feedback begint met INVALID_PREFIX uit prompts.py, Your last reply was invalid:. Een live model begrijpt elke formulering. Het gescripte model controleert alleen of het laatste gebruikersbericht met die tekst begint, en stuurt dan het verbeterde antwoord op de prompt daarvoor. SCRIPTED_MODEL.md beschrijft deze regel en de prompts die de eerste keer met opzet fout gaan.
Bouw retry_request
retry_request(body, bad_text, error) krijgt de body die verstuurd is, de antwoordtekst die mislukte en de ValidationError, en geeft de body terug die je hierna verstuurt:
Kopieer de body met
body.copy(), zodatmodel,response_formaten elke andere sleutel meekomen.Geef de kopie een nieuwe lijst
messages:body["messages"]plus nog twee berichten, debad_textals assistant-bericht en de feedback als gebruikersbericht.De feedback is
f"{INVALID_PREFIX} "gevolgd door de regels vanerror_lines(error), samengevoegd met"; ".
body.copy() kopieert de dictionary, maar "messages" in de kopie verwijst nog steeds naar dezelfde lijst als in het origineel. Toevoegen aan retry["messages"] zou ook de lijst van de aanroeper veranderen. body["messages"] + [...] bouwt een nieuwe lijst en laat het origineel met
Waarom maar één keer
Als het verbeterde antwoord ook ongeldig is, stop dan. Twee mislukkingen achter elkaar zeggen dat het request het probleem is, geen pech: de prompt is onduidelijk, de vorm is te moeilijk voor dit model, of de notitie brengt het in de war. Een lus die blijft vragen kan lang doorgaan op een probleem dat meer vragen niet oplost.
Het kost ook geld. Elke nieuwe poging verstuurt het hele gesprek opnieuw, nu langer door het foute antwoord en de feedback, dus een nieuwe poging kost meer invoertokens dan de eerste. Eén keer opnieuw proberen (retry) vangt een incidentele vergissing op. Meer dan dat is betalen om een probleem te verbergen waar je naar zou moeten kijken.
Voer het uit
Voer python structured.py uit. De demonstratie verstuurt give me broken json, een prompt die het gescripte model de eerste keer met opzet fout beantwoordt, met json_object. Ze toont het antwoord, bouwt de nieuwe poging met jouw retry_request, drukt de feedback af die erin zit, verstuurt hem en valideert het antwoord:
bad_text = answer_text(send_body(broken))
try:
parse_quiz(bad_text)
except ValidationError as error:
retry = retry_request(broken, bad_text, error)
A reply that fails validation, and one retry:
First reply: {"questions": [{"question": "What does len() return?", "choices": ["The number of items", "The last item", "The first item"], "answer_index": "abc"}]}
Feedback sent: Your last reply was invalid: questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer
After the retry: QuizSet(questions=[QuizQuestion(question='What does len() return?', choices=['The number of items', 'The last item', 'The first item'], answer_index=0)])
The quiz for notes/03-lists.md:
Run stopped at the next function to build: make_quiz is built in Lesson 9.
Het eerste antwoord had "abc" waar een geheel getal hoort. De nieuwe poging bevatte dat antwoord en één regel feedback, en het tweede antwoord valideerde als een QuizSet. Het project zet deze stappen samen.
Waarom bevat de nieuwe poging het ongeldige antwoord als assistant-bericht?
Het antwoord op de nieuwe poging is ook ongeldig. Wat moet het programma doen?
Opdracht
Vervang in structured.py de onafgemaakte body van retry_request(body, bad_text, error).
Geef een kopie van body terug waarvan "messages" een nieuwe lijst is: de berichten van body, daarna
{"role": "assistant", "content": bad_text}, het antwoord dat mislukte;{"role": "user", "content": ...}, waarbij de contentf"{INVALID_PREFIX} "is, gevolgd door de regels vanerror_lines(error)samengevoegd met"; ".
Elke andere sleutel van body, zoals model en response_format, blijft zoals hij was. De body van de aanroeper en de lijst messages daarin mogen niet veranderen. Voer python structured.py uit om te zien hoe een ongeldig antwoord na één nieuwe poging verbeterd wordt, en controleer daarna je werk.