Streamen
Hoe een stream eruitziet
Voordat je code schrijft die een stream leest, helpt het om er een precies te zien zoals de dienst hem stuurt. Hier is de hele stream voor een korte prompt, Say hello in a short sentence., met als antwoord Hello there, it is nice to meet you.:
: keep-alive
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"role": "assistant", "content": ""}, "finish_reason": null}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "Hello there, it "}, "finish_reason": null}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "is nice to "}, "finish_reason": null}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "meet you."}, "finish_reason": null}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {}, "finish_reason": "stop"}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [], "usage": {"prompt_tokens": 8, "completion_tokens": 9, "total_tokens": 17}}
data: [DONE]
Dit is niet één JSON-document zoals de antwoorden in hoofdstuk 1 en 2. Het is platte tekst, regel voor regel verstuurd over de open verbinding terwijl het model schrijft. Het formaat heet server-sent events, en de dienst geeft het aan met het responsetype text/event-stream. Elke regel komt binnen zodra hij klaar is, dus je programma kan iets met de eerste regel doen voordat de laatste bestaat.
De onderdelen, op volgorde
Lees de stream van boven naar beneden:
: keep-alive. Een regel die met een dubbele punt begint, is commentaar (comment). Het bevat geen data. Diensten sturen commentaar om een stille verbinding open te houden, bijvoorbeeld terwijl een live model nog nadenkt voor zijn eerste woord. Het gescripte model stuurt er aan het begin één, zoals OpenRouter doet, zodat je het in de praktijk tegenkomt. Je code moet het overslaan.Lege regels. Een lege regel sluit elk event af. Elk event hier is één
data:-regel gevolgd door een lege regel. De lege regels bevatten niets, en ook die slaat je code over.Het eerste stukje. Elke
data:-regel behalve de laatste bevat één JSON-document, een stukje (chunk) genoemd. Zijnchoices[0]lijkt op dechoices[0]van een normale response, behalve dat het eendeltaheeft waar een normale response eenmessageheeft. Een delta is de verandering sinds het vorige stukje. De eerste delta zegt wie er spreekt,"role": "assistant", en heeft een legecontent.Eén stukje per deel. Dan komen de delen van het antwoord, één per stukje, in
delta.content:"Hello there, it ","is nice to "en"meet you.". Samen vormen ze het hele antwoord. Merk op dat elk deel behalve het laatste op een spatie eindigt, dus voor het samenvoegen zijn geen extra spaties nodig.Het slotstukje. De delta is leeg,
{}, en definish_reasonis"stop": het model is klaar. Dit is dezelfdefinish_reasondie je in hoofdstuk 1 tegenkwam. Elk stukje daarvoor had"finish_reason": null.Het usage-stukje. De lijst
choicesis leeg, omdat dit stukje geen deel van het antwoord bevat. Het bevat deusagedie je in hoofdstuk 1 las: 8 invoertokens en 9 uitvoertokens. De dienst stuurt dit stukje alleen omdat het request erom vroeg, met"stream_options": {"include_usage": true}. Zonder die instelling heeft een stream helemaal geen tokenaantallen. Hoofdstuk 9 heeft ze nodig om een budget bij te houden, dus de code die je in dit hoofdstuk schrijft vraagt er altijd om.data: [DONE]. De eindmarkering. Dit is geen JSON, dus het mag nooit bijjson.loadsterechtkomen. Zie je het, dan is het antwoord compleet.
De waarden id en created zijn in elk stukje van één stream hetzelfde en veranderen bij elke aanroep.
Vier manieren waarop een stukje geen tekst bevat
Drie van de zeven data:-regels bevatten helemaal geen tekst: het eerste stukje, waarvan de content leeg is, ""; het slotstukje, waarvan de delta geen content-sleutel heeft; en het usage-stukje, dat geen choices heeft. Een lezer die aanneemt dat elk stukje tekst bevat, loopt op alle drie vast. Live modellen voegen een vierde geval toe dat het gescripte model nooit stuurt: een delta waarvan de content null is. Les 5 behandelt alle vier met één kleine functie.
Hier is dezelfde stream nog eens, één regel per rij, naast wat je code met elke regel gaat doen. Slechts drie rijen bevatten tekst, en samen vormen ze het hele antwoord.
![In de stream worden het commentaar en de lege regels overgeslagen, drie stukjes bevatten de tekstdelen, drie stukjes bevatten geen tekst, en data: [DONE] beëindigt de stream.](/media/pythonland/assets/c3eacdf83bbbbbce-960.webp)
Wat de code gaat doen
Om deze stream om te zetten in het antwoord zijn per regel drie beslissingen nodig, en de volgende lessen bouwen ze één voor één:
Is deze regel het lezen waard? Sla commentaar, lege regels en alles wat geen
data:-regel is over. Stop bij[DONE]. (Les 4)Welke tekst bevat dit stukje? Decodeer de JSON en neem
delta.content, of niets. (Les 5)Wat doe ik met de tekst? Druk hem meteen af en bewaar hem, zodat aan het eind het hele antwoord beschikbaar is. (Les 6)
python streaming.py stopt nog steeds bij open_stream. In les 3 open je dezelfde stream vanuit je eigen code en zie je deze regels binnenkomen.
Welke regel vertelt je programma dat de stream compleet is?
Waarom heeft het usage-stukje "choices": []?
Wat is een regel die met : begint, zoals : keep-alive?