De OpenAI-client gebruiken · eindproject
Eindproject: Project: zet de studieassistent over op de client
De studieassistent heeft twee onderdelen die met het model praten: de streamende chat uit hoofdstuk 3 en de quiz uit hoofdstuk 4. Allebei gebruiken ze nog requests. In dit project zet je ze over op de client, met de functies die je in les 2 tot en met 4 hebt gebouwd:
client = make_client()
ask("What is a Python list?", client=client)
reply, history = chat_turn([], "Explain Python lists in detail.", client=client) # streams
quiz = make_quiz(note_text, client=client) # a QuizSet, through the parse helper
ask is al klaar. De andere twee zijn kort, omdat de moeilijke delen in stream_chat en parse_quiz_reply zitten.
chat_turn
chat_turn uit hoofdstuk 3 bereidde de berichten voor, streamde het antwoord met open_stream en stream_reply, en gaf het antwoord terug met een nieuwe geschiedenis. Alleen het middelste deel verandert:
| Stap | Hoofdstuk 3 | Dit project |
|---|---|---|
| Voorbereiden | prepare_messages(history, question) | hetzelfde |
| Streamen | stream_reply(open_stream(...)) | stream_chat(messages, client=client) |
| Teruggeven | (reply, add_turn(messages[:-1], question, reply)) | hetzelfde |
chat_turn(history, question, *, client):
messages = prepare_messages(history, question).reply = stream_chat(messages, client=client). Dit drukt het antwoord af terwijl het binnenkomt.Geef
(reply, add_turn(messages[:-1], question, reply))terug.
chat_turn drukt zelf niets af en vangt niets af. Als de stream wordt onderbroken, gaat de StreamBroken uit stream_chat rechtstreeks naar de aanroeper, wordt er geen geschiedenis teruggegeven en komt het halve antwoord er nooit in terecht, precies zoals in hoofdstuk 3.
make_quiz
make_quiz uit hoofdstuk 4 verstuurde het quizrequest, valideerde het antwoord en deed bij een ValidationError één nieuwe poging. De parse-hulpfunctie doet nu het versturen en het valideren, dus make_quiz houdt alleen de nieuwe poging over.
make_quiz(note_text, *, client):
messages = quiz_messages(note_text).Geef
parse_quiz_reply(messages, client=client)terug.Als dat
ValidationErroropwerpt, bouw dan één feedbackbericht,{"role": "user", "content": f"{INVALID_PREFIX} " + "; ".join(error_lines(error))}roep
parse_quiz_replynog één keer aan metmessages + [feedback]en geef de quiz daarvan terug.
error_lines is de functie uit hoofdstuk 4, geïmporteerd uit structured.py, dus de feedback luidt hetzelfde als in hoofdstuk 4: één korte regel per probleem, zoals questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer.
Drie dingen worden niet opnieuw geprobeerd en bereiken de aanroeper onveranderd:
Een tweede
ValidationError. Eén nieuwe poging, zoals in hoofdstuk 4: als het model twee keer faalt, moet het request worden verbeterd, en elke nieuwe poging kost tokens.Een weigering.
parse_quiz_replywerpt daarvoor een gewoneValueErrorop. Vang de fout bij zijn naam af,except ValidationError as error:.ValidationErroris een soortValueError, dusexcept ValueError:zou de weigering ook afvangen. Die zou dan bijerror_linesterechtkomen, dat faalt metAttributeErroromdat een gewoneValueErrorgeen methodeerrors()heeft, en de aanroeper zou die crash krijgen in plaats van de uitleg van het model. Omgekeerd geldt dat niet:except ValidationErrorvangt geen gewoneValueErroraf.Fouten van de client, zoals
openai.InternalServerError. Die zijn voor hoofdstuk 9.
Wat deze nieuwe poging niet kan
De nieuwe poging van hoofdstuk 4 liet het model zijn eigen ongeldige antwoord zien als assistant-bericht, en zei daarna wat eraan mis was. Deze kan dat niet: parse werpt een fout op voordat de functie iets teruggeeft, dus de tekst van het antwoord bereikt je code nooit. Een live model krijgt de klacht zonder het antwoord waar die over gaat, en kan daardoor minder goed iets met de feedback.
Die ruil is meestal de moeite waard. Met strikte json_schema zorgt een aanbieder die dat ondersteunt ervoor dat de uitvoer van het model het schema volgt, dus een ongeldig antwoord is zeldzaam. De nieuwe poging beschermt vooral tegen modellen en aanbieders zonder strikte ondersteuning. Het gescripte model laat het pad van de nieuwe poging toch zien, omdat de prompt give me broken json één keer een ongeldig antwoord geeft, welk requestformaat je ook gebruikt, en het model beslist op basis van hoe het nieuwste gebruikersbericht begint, niet op basis van wat daarvoor kwam.
Voer het uit
Voer python client_calls.py uit. De demonstratie voert een chat van twee beurten, maakt een quiz voor de notitie over lijsten en maakt daarna een quiz waarvan het eerste antwoord ongeldig is. Voor die laatste drukt de demonstratie het laatste bericht af van het laatste request dat je sandbox verstuurde, met last_request() uit les 4, zodat je de feedback ziet die je make_quiz toevoegde:
The study chat on the client:
You: What does len() return?
len() returns the number of items in a sequence or collection, such as the characters in a string or the elements in a list.
You: Explain Python lists in detail.
A list is an ordered collection that can hold any mix of values. You create one with square brackets, such as scores = [90, 72, 85]. Each item has a position, starting at 0, so scores[0] is 90 and scores[-1] is the last item. Slicing takes a range: scores[0:2] gives a new list with the first two items. Lists are mutable, which means you can change them after creating them: scores.append(60) adds an item to the end, scores.remove(72) removes the first matching value, and scores[1] = 75 replaces an item in place. Because a list is changed in place, two names that refer to the same list both see the change. Use list.copy() when you need an independent list. len(scores) tells you how many items it holds.
The history now holds 5 messages.
A quiz from make_quiz:
3 questions. The first: For scores = [90, 72, 85], what is scores[-1]?
A quiz whose first reply is invalid:
The second request ended with: Your last reply was invalid: questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer
1 question: What does len() return?
De chatantwoorden kwamen uit stream_chat binnen je chat_turn, terwijl ze binnenkwamen. De geschiedenis bevat het systeembericht van de studieassistent en twee hele beurten.
De demonstratie laat de normale paden en één nieuwe poging zien. Denk voordat je je werk controleert na over wat ze niet laat zien: een stream die halverwege wordt onderbroken, een tweede ongeldig antwoord en een weigering. Loop je bij een van die gevallen vast, vraag Monty dan om een hint voor dat geval zonder om de hele functie te vragen.
Hoe het verdergaat
De studieassistent praat nu alleen nog via de client met het model, en elke functie die het model aanroept, krijgt de client als argument. Hoofdstuk 6 gebruikt dezelfde client om het model je programma te laten vragen een functie uit te voeren, bijvoorbeeld om een notitie op te zoeken.
make_quiz vangt ValueError af in plaats van ValidationError. Het model weigert de quiz te schrijven. Wat gebeurt er?
De nieuwe poging van hoofdstuk 4 stuurde het ongeldige antwoord terug als assistant-bericht vóór de feedback. Waarom stuurt de nieuwe poging van dit project alleen de feedback?
Opdracht
Vervang in client_calls.py de onafgemaakte bodies van chat_turn(history, question, *, client) en make_quiz(note_text, *, client).
chat_turn:
messages = prepare_messages(history, question), daarnareply = stream_chat(messages, client=client).Geef
(reply, add_turn(messages[:-1], question, reply))terug.Druk zelf niets af en vang niets af: een
StreamBrokenbereikt de aanroeper en er wordt geen geschiedenis teruggegeven.
make_quiz:
messages = quiz_messages(note_text), en geefparse_quiz_reply(messages, client=client)terug.Roep bij een
ValidationError, afgevangen onder die naam,parse_quiz_replynog één keer aan metmessages + [{"role": "user", "content": f"{INVALID_PREFIX} " + "; ".join(error_lines(error))}]en geef de quiz daarvan terug.Een tweede
ValidationError, deValueErrorvan een weigering en fouten van de client bereiken allemaal de aanroeper, zonder verdere aanroep.
Voer python client_calls.py uit om de chat en beide quizzen te zien, en controleer daarna je werk.