0%

Streaming · Übung

Den Text aus jedem Chunk holen

parse_line gibt dir den JSON-Text jedes Chunks. json.loads macht aus diesem Text ein Dictionary, wie bei ganzen Dokumenten in Python in der Praxis. In dieser Lektion holst du das Stück Antwort aus diesem Dictionary und gibst einen leeren String zurück, wenn keines da ist.

Die Formen eines Chunks

Hier sind noch einmal die Chunks des Streams für Say hello in a short sentence., dekodiert und auf die wichtigen Teile gekürzt, dazu eine Form, die nur Live-Modelle senden:

role_chunk = {"choices": [{"index": 0, "delta": {"role": "assistant", "content": ""}, "finish_reason": None}]}
piece_chunk = {"choices": [{"index": 0, "delta": {"content": "Hello there, it "}, "finish_reason": None}]}
finish_chunk = {"choices": [{"index": 0, "delta": {}, "finish_reason": "stop"}]}
usage_chunk = {"choices": [], "usage": {"prompt_tokens": 8, "completion_tokens": 9, "total_tokens": 17}}
live_null_chunk = {"choices": [{"index": 0, "delta": {"content": None}, "finish_reason": None}]}
print(piece_chunk["choices"][0]["delta"]["content"])

Nur piece_chunk enthält Text. Die anderen sind alles Arten, nichts zu enthalten:

ChunkWas delta enthältDer Text
der erste Chunk{"role": "assistant", "content": ""}""
ein Textstück{"content": "Hello there, it "}"Hello there, it "
der Abschluss-Chunk{}, überhaupt kein content-Schlüsselkeiner
der Usage-Chunkes gibt kein Delta, weil choices leer istkeiner
ein Live-Delta mit null{"content": None}keiner

chunk["choices"][0]["delta"]["content"] funktioniert für die ersten beiden Reihen und scheitert an den anderen drei. Der Abschluss-Chunk löst KeyError aus, weil sein Delta keinen content hat. Der Usage-Chunk löst IndexError aus, weil es kein choices[0] gibt. Der Live-Chunk liefert None, und das ist kein Text.

Lesen, was vielleicht nicht da ist

Prüfe zuerst die leere Liste. Eine leere Liste ist in einem if falsch, also fängt if not chunk["choices"]: den Usage-Chunk ab, bevor du hineinindizierst.

Verwende für das Delta .get("content"), die Dictionary-Methode, die du schon kennst: Sie gibt den Wert zurück, wenn der Schlüssel da ist, und None, wenn nicht. Damit ist der Abschluss-Chunk erledigt. Für den Live-Chunk liefert sie aber immer noch None, also schließe mit or "" ab:

for delta in [{"content": "Hi "}, {"content": ""}, {}, {"content": None}]:
    print("[" + (delta.get("content") or "") + "]")

a or b liefert a, wenn a wahr ist, und sonst b. Ein nicht leerer String ist wahr. None und der leere String sind beide falsch, also werden beide zu "". Zusammen liefern die Prüfung auf die leere Liste und .get("content") or "" für jede Form in der Tabelle einen String, nie None und nie einen Fehler.

.get("content", "") allein reicht nicht. Der Standardwert wird nur verwendet, wenn der Schlüssel fehlt. Bei {"content": None} ist der Schlüssel da, also bekommst du None zurück.

Baue chunk_text

chunk_text(chunk) nimmt ein dekodiertes Chunk-Dictionary und gibt "" zurück, wenn chunk["choices"] leer ist, und sonst den content des Deltas oder "", wenn es keinen gibt. Gib den content genau so zurück, wie er ist, Leerzeichen eingeschlossen: Die Leerzeichen an den Enden der Textstücke fügen sie zu Sätzen zusammen.

Führe python streaming.py aus. Die Demonstration liest den Stream für Say hello in a short sentence. erneut. Bei jeder Zeile überspringt sie, wofür parse_line None zurückgibt, hält bei "[DONE]" an, dekodiert das JSON und gibt aus, was chunk_text zurückgibt, in eckigen Klammern, damit auch ein leerer String sichtbar ist:

The text of each chunk, in brackets:
[]
[Hello there, it ]
[is nice to ]
[meet you.]
[]
[]
A long reply, streamed by stream_reply:
Run stopped at the next function to build: stream_reply is built in Lesson 6.

Sechs Chunks: der erste Chunk mit seinem leeren content, die drei Textstücke, der Abschluss-Chunk und der Usage-Chunk. Der Kommentar, die Leerzeilen und [DONE] sind nie bei chunk_text angekommen, weil parse_line sie vorher aussortiert hat. Sieh dir das Leerzeichen vor jeder schließenden Klammer an: Es gehört zum Textstück.

Ein Live-Modell sendet einen Chunk, dessen Delta {"content": None} ist. Was gibt chunk["choices"][0]["delta"].get("content", "") zurück?

Was sollte chunk_text für den Usage-Chunk {"choices": [], "usage": {...}} zurückgeben, und warum?

Aufgabe

Ersetze in streaming.py den unfertigen Rumpf von chunk_text(chunk). Die Funktion bekommt einen Chunk, den json.loads bereits in ein Dictionary umgewandelt hat.

  • Wenn chunk["choices"] leer ist, gib "" zurück.

  • Gib sonst den content von chunk["choices"][0]["delta"] genau so zurück, wie er ist, oder "", wenn das Delta keinen content-Schlüssel hat oder sein content None ist.

chunk_text gibt immer einen String zurück und löst bei diesen Formen nie einen Fehler aus. Führe python streaming.py aus, um den Text jedes Chunks in Klammern zu sehen, und prüfe dann deine Arbeit.