0%

Streaming

Wie ein Stream aussieht

Bevor du Code schreibst, der einen Stream liest, hilft es, einen genau so zu sehen, wie der Dienst ihn sendet. Hier ist der ganze Stream für einen kurzen Prompt, Say hello in a short sentence., dessen Antwort Hello there, it is nice to meet you. lautet:

: keep-alive

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"role": "assistant", "content": ""}, "finish_reason": null}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "Hello there, it "}, "finish_reason": null}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "is nice to "}, "finish_reason": null}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "meet you."}, "finish_reason": null}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [{"index": 0, "delta": {}, "finish_reason": "stop"}]}

data: {"id": "chatcmpl-scripted-b99acb4415bb49e095d8878c", "object": "chat.completion.chunk", "created": 1794141530, "model": "pl-scripted", "choices": [], "usage": {"prompt_tokens": 8, "completion_tokens": 9, "total_tokens": 17}}

data: [DONE]

Das ist kein einzelnes JSON-Dokument wie die Antworten in den Kapiteln 1 und 2. Es ist reiner Text, der Zeile für Zeile über die offene Verbindung gesendet wird, während das Modell schreibt. Das Format heißt Server-Sent Events, und der Dienst kennzeichnet es mit dem Antworttyp text/event-stream. Jede Zeile kommt an, sobald sie fertig ist, also kann dein Programm auf die erste Zeile reagieren, bevor es die letzte überhaupt gibt.

Die Teile, der Reihe nach

Lies den Stream von oben:

  1. : keep-alive. Eine Zeile, die mit einem Doppelpunkt beginnt, ist ein Kommentar. Sie enthält keine Daten. Dienste senden Kommentare, um eine stille Verbindung offen zu halten, zum Beispiel während ein Live-Modell vor seinem ersten Wort noch nachdenkt. Das geskriptete Modell sendet zu Beginn einen, wie OpenRouter, damit du in der Praxis einem begegnest. Dein Code muss ihn überspringen.

  2. Leerzeilen. Eine leere Zeile beendet jedes Event. Jedes Event besteht hier aus einer einzigen data:-Zeile, gefolgt von einer Leerzeile. Die Leerzeilen enthalten nichts, und dein Code überspringt sie ebenfalls.

  3. Der erste Chunk. Jede data:-Zeile außer der letzten enthält ein JSON-Dokument, einen sogenannten Chunk. Sein choices[0] sieht aus wie das choices[0] einer normalen Antwort, nur dass es ein delta hat, wo eine normale Antwort eine message hat. Ein Delta ist die Änderung seit dem vorigen Chunk. Das erste Delta sagt, wer spricht, "role": "assistant", und hat einen leeren content.

  4. Ein Chunk pro Textstück. Dann kommen die Textstücke der Antwort, eines pro Chunk, in delta.content: "Hello there, it ", "is nice to " und "meet you.". Zusammengefügt ergeben sie die ganze Antwort. Beachte, dass jedes Textstück außer dem letzten mit einem Leerzeichen endet, sodass beim Zusammenfügen keine zusätzlichen Leerzeichen nötig sind.

  5. Der Abschluss-Chunk. Sein Delta ist leer, {}, und sein finish_reason ist "stop": Das Modell ist fertig. Das ist derselbe finish_reason, den du in Kapitel 1 kennengelernt hast. Jeder Chunk davor hatte "finish_reason": null.

  6. Der Usage-Chunk. Seine choices-Liste ist leer, weil er keinen Teil der Antwort enthält. Er enthält die usage, die du in Kapitel 1 gelesen hast: 8 Eingabe-Tokens und 9 Ausgabe-Tokens. Der Dienst sendet diesen Chunk nur, weil die Anfrage mit "stream_options": {"include_usage": true} danach gefragt hat. Ohne diese Einstellung hat ein Stream überhaupt keine Token-Zahlen. Kapitel 9 braucht sie, um ein Budget einzuhalten, deshalb fragt der Code, den du in diesem Kapitel schreibst, immer danach.

  7. data: [DONE]. Die Endmarkierung. Sie ist kein JSON und darf deshalb nie bei json.loads ankommen. Wenn du sie siehst, ist die Antwort vollständig.

Die Werte id und created sind in jedem Chunk eines Streams gleich und ändern sich bei jedem Aufruf.

Vier Arten, wie ein Chunk keinen Text enthält

Drei der sieben data:-Zeilen enthalten überhaupt keinen Text: der erste Chunk, dessen content leer ist, ""; der Abschluss-Chunk, dessen Delta keinen content-Schlüssel hat; und der Usage-Chunk, der keine choices hat. Ein Leser, der annimmt, dass jeder Chunk ein Stück Text enthält, scheitert an allen dreien. Live-Modelle fügen einen vierten Fall hinzu, den das geskriptete Modell nie sendet: ein Delta, dessen content null ist. Lektion 5 behandelt alle vier mit einer kleinen Funktion.

Hier ist derselbe Stream noch einmal, eine Zeile pro Reihe, neben dem, was dein Code mit jeder Zeile tun wird. Nur drei Reihen enthalten Text, und zusammengefügt sind sie die ganze Antwort.

Im Stream werden der Kommentar und die Leerzeilen übersprungen, drei Chunks enthalten die Textstücke, drei Chunks enthalten keinen Text, und data: [DONE] beendet den Stream.

Was der Code tun wird

Um aus diesem Stream die Antwort zu machen, braucht es pro Zeile drei Entscheidungen, und die nächsten Lektionen bauen sie einzeln:

  • Lohnt es sich, diese Zeile zu lesen? Überspringe Kommentare, Leerzeilen und alles, was keine data:-Zeile ist. Halte bei [DONE] an. (Lektion 4)

  • Welchen Text enthält dieser Chunk? Dekodiere das JSON und nimm delta.content oder nichts. (Lektion 5)

  • Was mache ich mit dem Text? Gib ihn sofort aus und behalte ihn, damit am Ende die ganze Antwort verfügbar ist. (Lektion 6)

python streaming.py hält weiterhin bei open_stream an. In Lektion 3 öffnest du genau diesen Stream aus deinem eigenen Code und siehst diese Zeilen ankommen.

Welche Zeile sagt deinem Programm, dass der Stream vollständig ist?

Warum hat der Usage-Chunk "choices": []?

Was ist eine Zeile, die mit : beginnt, etwa : keep-alive?