Streaming
Wie ein Stream aussieht
Bevor du Code schreibst, der einen Stream liest, hilft es, einen genau so zu sehen, wie der Dienst ihn sendet. Hier ist der ganze Stream für einen kurzen Prompt, Say hello in a short sentence., dessen Antwort Hello there, it is nice to meet you. lautet:
: keep-alive
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"role": "assistant", "content": ""}, "finish_reason": null}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "Hello there, it "}, "finish_reason": null}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "is nice to "}, "finish_reason": null}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "meet you."}, "finish_reason": null}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {}, "finish_reason": "stop"}]}
data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [], "usage": {"prompt_tokens": 8, "completion_tokens": 9, "total_tokens": 17}}
data: [DONE]
Das ist kein einzelnes JSON-Dokument wie die Antworten in den Kapiteln 1 und 2. Es ist reiner Text, der Zeile für Zeile über die offene Verbindung gesendet wird, während das Modell schreibt. Das Format heißt Server-Sent Events, und der Dienst kennzeichnet es mit dem Antworttyp text/event-stream. Jede Zeile kommt an, sobald sie fertig ist, also kann dein Programm auf die erste Zeile reagieren, bevor es die letzte überhaupt gibt.
Die Teile, der Reihe nach
Lies den Stream von oben:
: keep-alive. Eine Zeile, die mit einem Doppelpunkt beginnt, ist ein Kommentar. Sie enthält keine Daten. Dienste senden Kommentare, um eine stille Verbindung offen zu halten, zum Beispiel während ein Live-Modell vor seinem ersten Wort noch nachdenkt. Das geskriptete Modell sendet zu Beginn einen, wie OpenRouter, damit du in der Praxis einem begegnest. Dein Code muss ihn überspringen.Leerzeilen. Eine leere Zeile beendet jedes Event. Jedes Event besteht hier aus einer einzigen
data:-Zeile, gefolgt von einer Leerzeile. Die Leerzeilen enthalten nichts, und dein Code überspringt sie ebenfalls.Der erste Chunk. Jede
data:-Zeile außer der letzten enthält ein JSON-Dokument, einen sogenannten Chunk. Seinchoices[0]sieht aus wie daschoices[0]einer normalen Antwort, nur dass es eindeltahat, wo eine normale Antwort einemessagehat. Ein Delta ist die Änderung seit dem vorigen Chunk. Das erste Delta sagt, wer spricht,"role": "assistant", und hat einen leerencontent.Ein Chunk pro Textstück. Dann kommen die Textstücke der Antwort, eines pro Chunk, in
delta.content:"Hello there, it ","is nice to "und"meet you.". Zusammengefügt ergeben sie die ganze Antwort. Beachte, dass jedes Textstück außer dem letzten mit einem Leerzeichen endet, sodass beim Zusammenfügen keine zusätzlichen Leerzeichen nötig sind.Der Abschluss-Chunk. Sein Delta ist leer,
{}, und seinfinish_reasonist"stop": Das Modell ist fertig. Das ist derselbefinish_reason, den du in Kapitel 1 kennengelernt hast. Jeder Chunk davor hatte"finish_reason": null.Der Usage-Chunk. Seine
choices-Liste ist leer, weil er keinen Teil der Antwort enthält. Er enthält dieusage, die du in Kapitel 1 gelesen hast: 8 Eingabe-Tokens und 9 Ausgabe-Tokens. Der Dienst sendet diesen Chunk nur, weil die Anfrage mit"stream_options": {"include_usage": true}danach gefragt hat. Ohne diese Einstellung hat ein Stream überhaupt keine Token-Zahlen. Kapitel 9 braucht sie, um ein Budget einzuhalten, deshalb fragt der Code, den du in diesem Kapitel schreibst, immer danach.data: [DONE]. Die Endmarkierung. Sie ist kein JSON und darf deshalb nie beijson.loadsankommen. Wenn du sie siehst, ist die Antwort vollständig.
Die Werte id und created sind in jedem Chunk eines Streams gleich und ändern sich bei jedem Aufruf.
Vier Arten, wie ein Chunk keinen Text enthält
Drei der sieben data:-Zeilen enthalten überhaupt keinen Text: der erste Chunk, dessen content leer ist, ""; der Abschluss-Chunk, dessen Delta keinen content-Schlüssel hat; und der Usage-Chunk, der keine choices hat. Ein Leser, der annimmt, dass jeder Chunk ein Stück Text enthält, scheitert an allen dreien. Live-Modelle fügen einen vierten Fall hinzu, den das geskriptete Modell nie sendet: ein Delta, dessen content null ist. Lektion 5 behandelt alle vier mit einer kleinen Funktion.
Hier ist derselbe Stream noch einmal, eine Zeile pro Reihe, neben dem, was dein Code mit jeder Zeile tun wird. Nur drei Reihen enthalten Text, und zusammengefügt sind sie die ganze Antwort.
![Im Stream werden der Kommentar und die Leerzeilen übersprungen, drei Chunks enthalten die Textstücke, drei Chunks enthalten keinen Text, und data: [DONE] beendet den Stream.](/media/pythonland/assets/c3eacdf83bbbbbce-960.webp)
Was der Code tun wird
Um aus diesem Stream die Antwort zu machen, braucht es pro Zeile drei Entscheidungen, und die nächsten Lektionen bauen sie einzeln:
Lohnt es sich, diese Zeile zu lesen? Überspringe Kommentare, Leerzeilen und alles, was keine
data:-Zeile ist. Halte bei[DONE]an. (Lektion 4)Welchen Text enthält dieser Chunk? Dekodiere das JSON und nimm
delta.contentoder nichts. (Lektion 5)Was mache ich mit dem Text? Gib ihn sofort aus und behalte ihn, damit am Ende die ganze Antwort verfügbar ist. (Lektion 6)
python streaming.py hält weiterhin bei open_stream an. In Lektion 3 öffnest du genau diesen Stream aus deinem eigenen Code und siehst diese Zeilen ankommen.
Welche Zeile sagt deinem Programm, dass der Stream vollständig ist?
Warum hat der Usage-Chunk "choices": []?
Was ist eine Zeile, die mit : beginnt, etwa : keep-alive?