Streaming · Übung
Die wichtigen Zeilen erkennen
Dein Stream kommt jetzt als dekodierte Zeilen an: ein Kommentar, Leerzeilen, data:-Zeilen mit JSON und data: [DONE]. Nur einige davon enthalten die Antwort. In dieser Lektion schreibst du die Regel, die sie sortiert, als eine Funktion, die eine einzelne Zeile ansieht und sagt, was damit zu tun ist.
Drei Antworten für jede Zeile
parse_line(line) nimmt eine dekodierte Zeile und gibt eines von drei Dingen zurück:
None: Diese Zeile überspringen. Das betrifft eine Leerzeile, einen Kommentar (eine Zeile, die mit:beginnt) und jede andere Zeile, die nicht mitdata:beginnt. Server-Sent Events erlauben noch ein paar andere Zeilenarten, etwaevent: ...oderid: .... Das geskriptete Modell sendet sie nie, andere Dienste aber schon, und ein Leser, der nur die Daten will, überspringt sie."[DONE]": Anhalten. Der Stream ist vollständig.Sonst den Text nach
data:, ohne die Leerzeichen drumherum. Bei einem Chunk ist das sein JSON-Text, bereit fürjson.loadsin der nächsten Lektion.
None für „hier ist nichts“ zurückzugeben, ist in Python eine verbreitete Gewohnheit. Der Aufrufer kann dann if text is None: continue schreiben und zur nächsten Zeile weitergehen.
Prüfen, wie ein String beginnt
Zwei String-Methoden erledigen den Großteil der Arbeit. str.startswith sagt dir, ob ein String mit einem bestimmten Text beginnt:
line = 'data: {"choices": []}'
print(line.startswith("data:"))
print(": keep-alive".startswith("data:"))
print("".startswith("data:"))
Ein leerer String beginnt nicht mit data:, also landen Leerzeilen ohne eigene Prüfung im Fall „überspringen“.
str.removeprefix gibt den String ohne den Text an seinem Anfang zurück, falls er dort steht, und lässt den Rest unverändert:
line = 'data: {"choices": []}'
print("[" + line.removeprefix("data:") + "]")
print("[" + line.removeprefix("data:").strip() + "]")
Die eckigen Klammern zeigen, wo jeder String beginnt und endet. removeprefix lässt das Leerzeichen nach dem Doppelpunkt stehen, und .strip() entfernt es. Wie jede String-Methode geben beide einen neuen String zurück und ändern nichts.
Zwei Details aus dem Format
Das Leerzeichen nach data: ist optional. Das geskriptete Modell schreibt data: {...} mit Leerzeichen, aber das Format der Server-Sent Events erlaubt auch data:{...}, und manche Dienste senden das. Prüfe auf data: ohne Leerzeichen und entferne dann die folgenden Leerzeichen, wie viele es auch sind. Sechs Zeichen mit line[6:] abzuschneiden, funktioniert nur, wenn das Leerzeichen da ist.
Entferne das Präfix nur am Anfang. Eine Antwort kann selbst den Text data: enthalten, zum Beispiel wenn ein Modell genau dieses Format erklärt, also kann er auch im JSON vorkommen. line.replace("data:", "") würde jedes Vorkommen entfernen, auch die in der Antwort. removeprefix sieht nur den Anfang an. strip("data:") ist auf andere Weise falsch: Es behandelt sein Argument als Menge von Zeichen, die an beiden Enden entfernt werden, nicht als ein Präfix.
Die Endmarkierung braucht keinen Sonderfall. data: [DONE] beginnt mit data:, und der Text danach ist ohne Leerzeichen "[DONE]". Du kannst trotzdem ausdrücklich darauf prüfen, wenn du das klarer findest.
Das Format erlaubt auch, dass sich ein Event über mehrere data:-Zeilen erstreckt, die ein Leser mit Zeilenumbrüchen verbindet. Das geskriptete Modell und Dienste im OpenAI-Stil senden ein JSON-Dokument pro Zeile, deshalb behandelt parse_line jede data:-Zeile als ein Event.
Baue parse_line
Schreibe parse_line(line) mit der Regel oben. Führe dann python streaming.py aus. Die Demonstration gibt jede dekodierte Zeile des Streams für Say hello in a short sentence. an deine Funktion und gibt mit repr() aus, was zurückkommt. Das zeigt einen String in Anführungszeichen, damit du None von einem String unterscheiden kannst:
What parse_line makes of each line:
None
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"role": "assistant", "content": ""}, "finish_reason": null}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "Hello there, it "}, "finish_reason": null}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "is nice to "}, "finish_reason": null}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "meet you."}, "finish_reason": null}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {}, "finish_reason": "stop"}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [], "usage": {"prompt_tokens": 8, "completion_tokens": 9, "total_tokens": 17}}'
None
'[DONE]'
None
The text of each chunk, in brackets:
Run stopped at the next function to build: chunk_text is built in Lesson 5.
Das erste None ist der Kommentar, jedes andere None eine Leerzeile. Jeder JSON-Text hat sein Präfix data: verloren. Die Demonstration hat auch die Zeile nach '[DONE]' ausgegeben, die letzte Leerzeile, nur weil sie jede Zeile ausgibt, die sie bekommt. Ein echter Leser hält bei [DONE] an, wie es deiner in Lektion 6 tun wird.
Der Dienst sendet nur wenige Zeilenarten, also probiere die anderen Fälle im parse_line sendet nichts über das Netzwerk, du kannst es also direkt aufrufen. Starte Python mit python und probiere eine Zeile ohne Leerzeichen nach dem Doppelpunkt und eine, die gar keine Daten enthält:
from streaming import parse_line
print(parse_line('data:{"choices": []}'))
print(parse_line("event: message"))
Die erste sollte den JSON-Text ausgeben und die zweite None.
Was sollte parse_line(": data: hello") zurückgeben?
line ist 'data: {"text": "data: arrives in lines"}'. Welcher Ausdruck liefert genau den JSON-Text, für diese Zeile und für jede andere Datenzeile?
Aufgabe
Ersetze in streaming.py den unfertigen Rumpf von parse_line(line). Die Funktion bekommt eine dekodierte Zeile, einen str.
Gib
Nonefür eine Zeile zurück, die nicht mitdata:beginnt. Dazu gehören Leerzeilen, Kommentare (Zeilen, die mit:beginnen) und Zeilen wieevent: message.Gib
"[DONE]"für die Endmarkierungdata: [DONE]zurück.Gib für jede andere
data:-Zeile den Text nachdata:ohne die Leerzeichen drumherum zurück. Das Leerzeichen nach dem Doppelpunkt kann fehlen, und der Text selbst kanndata:enthalten, das unverändert bleiben muss.
Führe python streaming.py aus, um zu sehen, was deine Funktion aus jeder Zeile macht, und prüfe dann deine Arbeit.