0%

Streamen · eindproject

Eindproject: Project: stream antwoorden in de studiechat

In hoofdstuk 2 bouwde je chat_turn, een functie voor de studiechat die het systeembericht van de studiechat vooraan houdt, de geschiedenis inkort en op het hele antwoord wacht. Dit project bouwt dezelfde functie opnieuw in streaming.py, met één verschil: het antwoord streamt naar het scherm terwijl het model het schrijft.

history = []
reply, history = chat_turn(history, "Explain Python lists in detail.")

Het antwoord verschijnt deel voor deel terwijl chat_turn draait. Als de functie terugkeert, bevat reply de hele tekst en history het gesprek tot nu toe, precies zoals in hoofdstuk 2.

Wat blijft en wat verandert

Bekijk de chat_turn van hoofdstuk 2 in conversation.py. Die doet vier dingen: de berichten voorbereiden met prepare_messages, ze versturen, het antwoord lezen, en het antwoord teruggeven met een nieuwe geschiedenis die add_turn bouwt. Alleen de middelste twee veranderen:

StapHoofdstuk 2Dit project
Voorbereidenprepare_messages(history, question)hetzelfde
Versturensend_body(...)open_stream(...) uit les 3
Lezenanswer_text(response)stream_reply(response) uit les 6 en 7
Teruggeven(reply, add_turn(messages[:-1], question, reply))hetzelfde

prepare_messages en add_turn worden bovenaan streaming.py geïmporteerd uit de afgeronde code van hoofdstuk 2, dus je gebruikt ze zoals ze zijn.

Bouw chat_turn

chat_turn(history, question, *, session=None) in streaming.py:

  1. messages = prepare_messages(history, question).

  2. Open met open_stream een stream voor {"model": MODEL, "messages": messages} en geef session=session door.

  3. reply = stream_reply(response). Dit drukt het antwoord af terwijl het binnenkomt.

  4. Geef (reply, add_turn(messages[:-1], question, reply)) terug.

Net als in hoofdstuk 2 laat messages[:-1] de openstaande vraag weg, en add_turn zet die samen met het antwoord terug als één hele beurt. De lijst van de aanroeper verandert nooit.

Als de stream afbreekt

chat_turn vangt niets af. Als de stream afbreekt, werpt stream_reply StreamBroken op, en de fout gaat via chat_turn rechtstreeks naar de aanroeper. Dat is precies de bedoeling: chat_turn komt nooit bij stap 4, dus er wordt geen geschiedenis teruggegeven, en het halve antwoord wordt nergens aan toegevoegd. De eigen geschiedenis van de aanroeper is precies zoals hij was, dus de aanroeper kan dezelfde vraag opnieuw stellen zonder iets ongedaan te hoeven maken. De gedeeltelijke tekst is voor de aanroeper nog steeds beschikbaar als error.partial_text, als die wil laten zien wat er binnenkwam.

StreamBroken afvangen in chat_turn en error.partial_text aan de geschiedenis toevoegen zou precies het probleem terugbrengen dat les 7 oploste: een half antwoord opgeslagen alsof het model het had gezegd.

Voer de chat uit

Voer python streaming.py uit. De demonstratie begint met een lege geschiedenis en stelt twee vragen. Je chat_turn drukt elk antwoord af terwijl het binnenstroomt:

The streaming study chat:
You: What does len() return?
len() returns the number of items in a sequence or collection, such as the characters in a string or the elements in a list.
You: Explain Python lists in detail.
A list is an ordered collection that can hold any mix of values. You create one with square brackets, such as scores = [90, 72, 85]. Each item has a position, starting at 0, so scores[0] is 90 and scores[-1] is the last item. Slicing takes a range: scores[0:2] gives a new list with the first two items. Lists are mutable, which means you can change them after creating them: scores.append(60) adds an item to the end, scores.remove(72) removes the first matching value, and scores[1] = 75 replaces an item in place. Because a list is changed in place, two names that refer to the same list both see the change. Use list.copy() when you need an independent list. len(scores) tells you how many items it holds.
The history now holds 5 messages.

De geschiedenis bevat het systeembericht van de studiechat en twee hele beurten. De demonstratie drukte alleen de regels met You: en het aantal af: de antwoorden kwamen van stream_reply binnen je chat_turn, zodra ze binnenkwamen.

De demonstratie laat het geval zien waarin alles goed gaat. Denk voordat je je werk controleert na over de gevallen die ze niet laat zien: een geschiedenis die voorbij MAX_MESSAGES is gegroeid, een geschiedenis die met een ander systeembericht begint, en een stream die halverwege afbreekt. prepare_messages handelt de eerste twee af zoals in hoofdstuk 2, en stream_reply uit les 7 handelt de derde af, dus chat_turn heeft voor geen van alle iets extra’s nodig. Loop je vast, vraag Monty dan om een hint over één geval zonder om de hele functie te vragen.

Hoe het verdergaat

Je studiechat streamt nu. Hoofdstuk 4 gaat bewust terug naar wachten op hele antwoorden, omdat het het model om JSON vraagt die je programma inleest als Python-objecten, en een half object heeft niemand iets aan. Hoofdstuk 5 zet daarna beide soorten requests over op de openai-client, die voor je doet wat open_stream en stream_reply doen, zodat je weet wat hij onder de motorkap doet.

Tijdens chat_turn(history, "Explain decorators.") breekt de stream halverwege af. Wat krijgt de aanroeper?

Wie drukt het antwoord af terwijl het streamt, en hoe vaak verschijnt het op het scherm?

Opdracht

Vervang in streaming.py de onafgemaakte body van chat_turn(history, question, *, session=None).

  • messages = prepare_messages(history, question).

  • Open een stream voor {"model": MODEL, "messages": messages} met open_stream(..., session=session).

  • reply = stream_reply(response), dat het antwoord afdrukt terwijl het binnenkomt.

  • Geef (reply, add_turn(messages[:-1], question, reply)) terug.

chat_turn drukt zelf niets af, vangt geen exceptions af en verandert nooit de lijst van de aanroeper. Als de stream afbreekt, bereikt de StreamBroken uit stream_reply de aanroeper en wordt er geen geschiedenis teruggegeven. Voer python streaming.py uit om de studiechat te zien streamen, en controleer daarna je werk.