0%

Gestructureerde uitvoer · eindproject

Eindproject: Project: maak quizvragen van een notitie

Dit project zet het hoofdstuk samen. Geef het een cursusnotitie, en het vraagt het model om een quiz, valideert het antwoord, vraagt het nog één keer als het antwoord ongeldig is, en drukt de quiz af in een vorm die een leerling kan maken:

>>> quiz = make_quiz(open("notes/03-lists.md", encoding="utf-8").read())
>>> print(format_quiz(quiz))
1. For scores = [90, 72, 85], what is scores[-1]?
   a) 90
   b) 72
   c) 85

2. What does scores.append(60) return?
   a) The new list
   b) None
   c) 60

3. Which line makes an independent copy of scores?
   a) backup = scores.copy()
   b) backup = scores
   c) backup = scores.append(0)

Answers: 1c, 2b, 3a

Je bouwt twee functies: make_quiz, die een geldige QuizSet ophaalt, en format_quiz, die er die tekst van maakt.

Bouw make_quiz

make_quiz(note_text, *, session=None) neemt het inhaakpunt session=None uit hoofdstuk 1 over, zodat de controle van je werk een nep-sessie kan meegeven die voorbereide antwoorden teruggeeft. Geef session=session mee aan elke aanroep van send_body.

  1. body = quiz_request(note_text).

  2. text = answer_text(send_body(body, session=session)).

  3. Geef parse_quiz(text) terug.

  4. Als stap 3 ValidationError opwerpt, bouw dan retry_request(body, text, error), verstuur die met send_body, en geef parse_quiz van de tekst van dat antwoord terug.

Vang alleen ValidationError af, en alleen rond parse_quiz. Een request dat mislukt, zoals een 500 van de dienst, geeft een fout vanuit send_body voordat er een antwoord is om te verbeteren; opnieuw vragen met feedback over een ongeldig antwoord zou geen zin hebben, dus laat die fout de aanroeper bereiken. Als het antwoord op de nieuwe poging ook ongeldig is, bereikt die ValidationError ook de aanroeper, zoals les 8 uitlegde: één keer opnieuw proberen, en dan stoppen.

Eén manier om te voorkomen dat de tweede ValidationError door de eerste except wordt afgevangen, is teruggeven vanuit de try en de nieuwe poging daarna te versturen:

try:
    return parse_quiz(text)
except ValidationError as error:
    retry = retry_request(body, text, error)

De regel die retry verstuurt, staat na het try-statement, dus niets vangt af wat hij opwerpt.

Bouw format_quiz

format_quiz(quiz) krijgt een QuizSet en geeft de quiz terug als één string, zonder newline aan het eind:

  • Nummer de vragen vanaf 1 met een teller: zet number = 0 voor de lus over quiz.questions, en tel er aan het begin van elke ronde 1 bij op.

  • Voor elke vraag een regel f"{number}. {question.question}", daarna één regel per keuze, f" {letter}) {choice}", ingesprongen met drie spaties. De letters komen op volgorde uit "abcdefgh": de eerste keuze krijgt a, de tweede b, enzovoort.

  • Een lege regel tussen de vragen.

  • Na de laatste vraag een lege regel, daarna Answers: gevolgd door één item per vraag, het nummer en de letter van de goede keuze, zoals 1c, samengevoegd met ", ".

Een handige manier om aan de letters te komen is "abcdefgh" te slicen tot het aantal keuzes, letters = "abcdefgh"[: len(question.choices)]. Dan is letters[0] gelijk aan a en is letters[question.answer_index] de goede letter. Een answer_index voorbij de laatste keuze werpt dan IndexError op, net als correct_choice in les 4. Vang dat niet af: een kapotte vraag hoort niet afgedrukt te worden met een verzonnen antwoord.

Als je de regels van elke vraag in een lijst verzamelt en samenvoegt met "\n", en daarna de vragen samenvoegt met "\n\n", krijg je de lege regels zonder ze te tellen.

Voer het uit

Voer python structured.py uit. De demonstratie maakt een quiz van notes/03-lists.md en drukt die af. Daarna roept ze make_quiz("give me broken json") aan. note_message zet die tekst tussen de notitie-tags, en het gescripte model beantwoordt precies deze prompt de eerste keer met opzet fout, dus jouw make_quiz moet het opnieuw proberen voordat hij een geldige quiz krijgt:

The quiz for notes/03-lists.md:
1. For scores = [90, 72, 85], what is scores[-1]?
   a) 90
   b) 72
   c) 85

2. What does scores.append(60) return?
   a) The new list
   b) None
   c) 60

3. Which line makes an independent copy of scores?
   a) backup = scores.copy()
   b) backup = scores
   c) backup = scores.append(0)

Answers: 1c, 2b, 3a
A quiz whose first reply is invalid:
1. What does len() return?
   a) The number of items
   b) The last item
   c) The first item

Answers: 1a

De tweede quiz verschijnt alleen als de nieuwe poging werkte; zonder die poging zou de ValidationError van het eerste antwoord de run met een traceback beëindigen. De demonstratie kan je de andere gevallen niet laten zien, dus denk ze door voordat je je werk controleert: een geldig eerste antwoord heeft precies één request nodig; een tweede ongeldig antwoord moet een fout opwerpen en niet opnieuw geprobeerd worden; een mislukt request mag helemaal niet opnieuw geprobeerd worden. De controle van je werk probeert elk van die gevallen met een nep-sessie, samen met quizzen van één vraag en van vier keuzes. Loop je vast, vraag Monty dan naar één geval tegelijk.

Hoe het verdergaat

make_quiz en format_quiz maken van elke notitie een gecontroleerde, afdrukbare quiz, met al het werk met de hand gedaan: de requestbody, de JSON-modus, het schema in de prompt, validatie en de nieuwe poging. Hoofdstuk 5 zet dit over op de openai-client, waarvan de parse-hulpfunctie een strikt schema verstuurt dat uit QuizSet is gebouwd en het antwoord voor je valideert. Omdat je elke stap zelf hebt gebouwd, weet je wat hij doet.

In make_quiz mislukt het eerste request met een 500 van de dienst. Wat moet er gebeuren?

Een vraag heeft vier keuzes en answer_index 3. Welk item krijgt hij op de antwoordregel, als het vraag 2 is?

Opdracht

Vervang in structured.py de onafgemaakte bodies van make_quiz(note_text, *, session=None) en format_quiz(quiz).

make_quiz:

  • body = quiz_request(note_text), daarna text = answer_text(send_body(body, session=session)).

  • Geef parse_quiz(text) terug. Als dat ValidationError opwerpt, verstuur dan één keer retry_request(body, text, error), met dezelfde sessie, en geef parse_quiz van de tekst van dat antwoord terug.

  • Een tweede ValidationError, en elke fout van send_body, bereiken de aanroeper.

format_quiz geeft één string terug, zonder newline aan het eind:

  • voor elke vraag, genummerd vanaf 1: f"{number}. {question.question}", waarbij question één item van quiz.questions is, daarna één regel per keuze, f" {letter}) {choice}" (drie spaties), met de letters a, b, c enzovoort op volgorde uit "abcdefgh";

  • een lege regel tussen de vragen;

  • daarna een lege regel en Answers: gevolgd door het nummer en de goede letter van elke vraag, zoals 1c, samengevoegd met ", ".

Voer python structured.py uit om twee quizzen te zien, de tweede na een nieuwe poging, en controleer daarna je werk.