0%

Streamen

Hoe een stream eruitziet

Voordat je code schrijft die een stream leest, helpt het om er een precies te zien zoals de dienst hem stuurt. Hier is de hele stream voor een korte prompt, Say hello in a short sentence., met als antwoord Hello there, it is nice to meet you.:

: keep-alive

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"role": "assistant", "content": ""}, "finish_reason": null}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "Hello there, it "}, "finish_reason": null}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "is nice to "}, "finish_reason": null}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "meet you."}, "finish_reason": null}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {}, "finish_reason": "stop"}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [], "usage": {"prompt_tokens": 8, "completion_tokens": 9, "total_tokens": 17}}

data: [DONE]

Dit is niet één JSON-document zoals de antwoorden in hoofdstuk 1 en 2. Het is platte tekst, regel voor regel verstuurd over de open verbinding terwijl het model schrijft. Het formaat heet server-sent events, en de dienst geeft het aan met het responsetype text/event-stream. Elke regel komt binnen zodra hij klaar is, dus je programma kan iets met de eerste regel doen voordat de laatste bestaat.

De onderdelen, op volgorde

Lees de stream van boven naar beneden:

  1. : keep-alive. Een regel die met een dubbele punt begint, is commentaar (comment). Het bevat geen data. Diensten sturen commentaar om een stille verbinding open te houden, bijvoorbeeld terwijl een live model nog nadenkt voor zijn eerste woord. Het gescripte model stuurt er aan het begin één, zoals OpenRouter doet, zodat je het in de praktijk tegenkomt. Je code moet het overslaan.

  2. Lege regels. Een lege regel sluit elk event af. Elk event hier is één data:-regel gevolgd door een lege regel. De lege regels bevatten niets, en ook die slaat je code over.

  3. Het eerste stukje. Elke data:-regel behalve de laatste bevat één JSON-document, een stukje (chunk) genoemd. Zijn choices[0] lijkt op de choices[0] van een normale response, behalve dat het een delta heeft waar een normale response een message heeft. Een delta is de verandering sinds het vorige stukje. De eerste delta zegt wie er spreekt, "role": "assistant", en heeft een lege content.

  4. Eén stukje per deel. Dan komen de delen van het antwoord, één per stukje, in delta.content: "Hello there, it ", "is nice to " en "meet you.". Samen vormen ze het hele antwoord. Merk op dat elk deel behalve het laatste op een spatie eindigt, dus voor het samenvoegen zijn geen extra spaties nodig.

  5. Het slotstukje. De delta is leeg, {}, en de finish_reason is "stop": het model is klaar. Dit is dezelfde finish_reason die je in hoofdstuk 1 tegenkwam. Elk stukje daarvoor had "finish_reason": null.

  6. Het usage-stukje. De lijst choices is leeg, omdat dit stukje geen deel van het antwoord bevat. Het bevat de usage die je in hoofdstuk 1 las: 8 invoertokens en 9 uitvoertokens. De dienst stuurt dit stukje alleen omdat het request erom vroeg, met "stream_options": {"include_usage": true}. Zonder die instelling heeft een stream helemaal geen tokenaantallen. Hoofdstuk 9 heeft ze nodig om een budget bij te houden, dus de code die je in dit hoofdstuk schrijft vraagt er altijd om.

  7. data: [DONE]. De eindmarkering. Dit is geen JSON, dus het mag nooit bij json.loads terechtkomen. Zie je het, dan is het antwoord compleet.

De waarden id en created zijn in elk stukje van één stream hetzelfde en veranderen bij elke aanroep.

Vier manieren waarop een stukje geen tekst bevat

Drie van de zeven data:-regels bevatten helemaal geen tekst: het eerste stukje, waarvan de content leeg is, ""; het slotstukje, waarvan de delta geen content-sleutel heeft; en het usage-stukje, dat geen choices heeft. Een lezer die aanneemt dat elk stukje tekst bevat, loopt op alle drie vast. Live modellen voegen een vierde geval toe dat het gescripte model nooit stuurt: een delta waarvan de content null is. Les 5 behandelt alle vier met één kleine functie.

Hier is dezelfde stream nog eens, één regel per rij, naast wat je code met elke regel gaat doen. Slechts drie rijen bevatten tekst, en samen vormen ze het hele antwoord.

In de stream worden het commentaar en de lege regels overgeslagen, drie stukjes bevatten de tekstdelen, drie stukjes bevatten geen tekst, en data: [DONE] beëindigt de stream.

Wat de code gaat doen

Om deze stream om te zetten in het antwoord zijn per regel drie beslissingen nodig, en de volgende lessen bouwen ze één voor één:

  • Is deze regel het lezen waard? Sla commentaar, lege regels en alles wat geen data:-regel is over. Stop bij [DONE]. (Les 4)

  • Welke tekst bevat dit stukje? Decodeer de JSON en neem delta.content, of niets. (Les 5)

  • Wat doe ik met de tekst? Druk hem meteen af en bewaar hem, zodat aan het eind het hele antwoord beschikbaar is. (Les 6)

python streaming.py stopt nog steeds bij open_stream. In les 3 open je dezelfde stream vanuit je eigen code en zie je deze regels binnenkomen.

Welke regel vertelt je programma dat de stream compleet is?

Waarom heeft het usage-stukje "choices": []?

Wat is een regel die met : begint, zoals : keep-alive?