0%

De OpenAI-client gebruiken · eindproject

Eindproject: Project: zet de studieassistent over op de client

De studieassistent heeft twee onderdelen die met het model praten: de streamende chat uit hoofdstuk 3 en de quiz uit hoofdstuk 4. Allebei gebruiken ze nog requests. In dit project zet je ze over op de client, met de functies die je in les 2 tot en met 4 hebt gebouwd:

client = make_client()
ask("What is a Python list?", client=client)
reply, history = chat_turn([], "Explain Python lists in detail.", client=client)  # streams
quiz = make_quiz(note_text, client=client)  # a QuizSet, through the parse helper

ask is al klaar. De andere twee zijn kort, omdat de moeilijke delen in stream_chat en parse_quiz_reply zitten.

chat_turn

chat_turn uit hoofdstuk 3 bereidde de berichten voor, streamde het antwoord met open_stream en stream_reply, en gaf het antwoord terug met een nieuwe geschiedenis. Alleen het middelste deel verandert:

StapHoofdstuk 3Dit project
Voorbereidenprepare_messages(history, question)hetzelfde
Streamenstream_reply(open_stream(...))stream_chat(messages, client=client)
Teruggeven(reply, add_turn(messages[:-1], question, reply))hetzelfde

chat_turn(history, question, *, client):

  1. messages = prepare_messages(history, question).

  2. reply = stream_chat(messages, client=client). Dit drukt het antwoord af terwijl het binnenkomt.

  3. Geef (reply, add_turn(messages[:-1], question, reply)) terug.

chat_turn drukt zelf niets af en vangt niets af. Als de stream wordt onderbroken, gaat de StreamBroken uit stream_chat rechtstreeks naar de aanroeper, wordt er geen geschiedenis teruggegeven en komt het halve antwoord er nooit in terecht, precies zoals in hoofdstuk 3.

make_quiz

make_quiz uit hoofdstuk 4 verstuurde het quizrequest, valideerde het antwoord en deed bij een ValidationError één nieuwe poging. De parse-hulpfunctie doet nu het versturen en het valideren, dus make_quiz houdt alleen de nieuwe poging over.

make_quiz(note_text, *, client):

  1. messages = quiz_messages(note_text).

  2. Geef parse_quiz_reply(messages, client=client) terug.

  3. Als dat ValidationError opwerpt, bouw dan één feedbackbericht,

    {"role": "user", "content": f"{INVALID_PREFIX} " + "; ".join(error_lines(error))}
    

    roep parse_quiz_reply nog één keer aan met messages + [feedback] en geef de quiz daarvan terug.

error_lines is de functie uit hoofdstuk 4, geïmporteerd uit structured.py, dus de feedback luidt hetzelfde als in hoofdstuk 4: één korte regel per probleem, zoals questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer.

Drie dingen worden niet opnieuw geprobeerd en bereiken de aanroeper onveranderd:

  • Een tweede ValidationError. Eén nieuwe poging, zoals in hoofdstuk 4: als het model twee keer faalt, moet het request worden verbeterd, en elke nieuwe poging kost tokens.

  • Een weigering. parse_quiz_reply werpt daarvoor een gewone ValueError op. Vang de fout bij zijn naam af, except ValidationError as error:. ValidationError is een soort ValueError, dus except ValueError: zou de weigering ook afvangen. Die zou dan bij error_lines terechtkomen, dat faalt met AttributeError omdat een gewone ValueError geen methode errors() heeft, en de aanroeper zou die crash krijgen in plaats van de uitleg van het model. Omgekeerd geldt dat niet: except ValidationError vangt geen gewone ValueError af.

  • Fouten van de client, zoals openai.InternalServerError. Die zijn voor hoofdstuk 9.

Wat deze nieuwe poging niet kan

De nieuwe poging van hoofdstuk 4 liet het model zijn eigen ongeldige antwoord zien als assistant-bericht, en zei daarna wat eraan mis was. Deze kan dat niet: parse werpt een fout op voordat de functie iets teruggeeft, dus de tekst van het antwoord bereikt je code nooit. Een live model krijgt de klacht zonder het antwoord waar die over gaat, en kan daardoor minder goed iets met de feedback.

Die ruil is meestal de moeite waard. Met strikte json_schema zorgt een aanbieder die dat ondersteunt ervoor dat de uitvoer van het model het schema volgt, dus een ongeldig antwoord is zeldzaam. De nieuwe poging beschermt vooral tegen modellen en aanbieders zonder strikte ondersteuning. Het gescripte model laat het pad van de nieuwe poging toch zien, omdat de prompt give me broken json één keer een ongeldig antwoord geeft, welk requestformaat je ook gebruikt, en het model beslist op basis van hoe het nieuwste gebruikersbericht begint, niet op basis van wat daarvoor kwam.

Voer het uit

Voer python client_calls.py uit. De demonstratie voert een chat van twee beurten, maakt een quiz voor de notitie over lijsten en maakt daarna een quiz waarvan het eerste antwoord ongeldig is. Voor die laatste drukt de demonstratie het laatste bericht af van het laatste request dat je sandbox verstuurde, met last_request() uit les 4, zodat je de feedback ziet die je make_quiz toevoegde:

The study chat on the client:
You: What does len() return?
len() returns the number of items in a sequence or collection, such as the characters in a string or the elements in a list.
You: Explain Python lists in detail.
A list is an ordered collection that can hold any mix of values. You create one with square brackets, such as scores = [90, 72, 85]. Each item has a position, starting at 0, so scores[0] is 90 and scores[-1] is the last item. Slicing takes a range: scores[0:2] gives a new list with the first two items. Lists are mutable, which means you can change them after creating them: scores.append(60) adds an item to the end, scores.remove(72) removes the first matching value, and scores[1] = 75 replaces an item in place. Because a list is changed in place, two names that refer to the same list both see the change. Use list.copy() when you need an independent list. len(scores) tells you how many items it holds.
The history now holds 5 messages.
A quiz from make_quiz:
3 questions. The first: For scores = [90, 72, 85], what is scores[-1]?
A quiz whose first reply is invalid:
The second request ended with: Your last reply was invalid: questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer
1 question: What does len() return?

De chatantwoorden kwamen uit stream_chat binnen je chat_turn, terwijl ze binnenkwamen. De geschiedenis bevat het systeembericht van de studieassistent en twee hele beurten.

De demonstratie laat de normale paden en één nieuwe poging zien. Denk voordat je je werk controleert na over wat ze niet laat zien: een stream die halverwege wordt onderbroken, een tweede ongeldig antwoord en een weigering. Loop je bij een van die gevallen vast, vraag Monty dan om een hint voor dat geval zonder om de hele functie te vragen.

Hoe het verdergaat

De studieassistent praat nu alleen nog via de client met het model, en elke functie die het model aanroept, krijgt de client als argument. Hoofdstuk 6 gebruikt dezelfde client om het model je programma te laten vragen een functie uit te voeren, bijvoorbeeld om een notitie op te zoeken.

make_quiz vangt ValueError af in plaats van ValidationError. Het model weigert de quiz te schrijven. Wat gebeurt er?

De nieuwe poging van hoofdstuk 4 stuurde het ongeldige antwoord terug als assistant-bericht vóór de feedback. Waarom stuurt de nieuwe poging van dit project alleen de feedback?

Opdracht

Vervang in client_calls.py de onafgemaakte bodies van chat_turn(history, question, *, client) en make_quiz(note_text, *, client).

chat_turn:

  • messages = prepare_messages(history, question), daarna reply = stream_chat(messages, client=client).

  • Geef (reply, add_turn(messages[:-1], question, reply)) terug.

  • Druk zelf niets af en vang niets af: een StreamBroken bereikt de aanroeper en er wordt geen geschiedenis teruggegeven.

make_quiz:

  • messages = quiz_messages(note_text), en geef parse_quiz_reply(messages, client=client) terug.

  • Roep bij een ValidationError, afgevangen onder die naam, parse_quiz_reply nog één keer aan met messages + [{"role": "user", "content": f"{INVALID_PREFIX} " + "; ".join(error_lines(error))}] en geef de quiz daarvan terug.

  • Een tweede ValidationError, de ValueError van een weigering en fouten van de client bereiken allemaal de aanroeper, zonder verdere aanroep.

Voer python client_calls.py uit om de chat en beide quizzen te zien, en controleer daarna je werk.