0%

Streamen · oefening

Haal de tekst uit elk stukje

parse_line geeft je de JSON-tekst van elk stukje. json.loads zet die tekst om in een dictionary, zoals het in Python in de praktijk met hele documenten deed. Deze les haalt het deel van het antwoord uit die dictionary, en geeft een lege string terug als er geen is.

De vormen van een stukje

Hier zijn de stukjes van de stream voor Say hello in a short sentence. nog eens, gedecodeerd en ingekort tot de onderdelen die ertoe doen, plus één vorm die alleen live modellen sturen:

role_chunk = {"choices": [{"index": 0, "delta": {"role": "assistant", "content": ""}, "finish_reason": None}]}
piece_chunk = {"choices": [{"index": 0, "delta": {"content": "Hello there, it "}, "finish_reason": None}]}
finish_chunk = {"choices": [{"index": 0, "delta": {}, "finish_reason": "stop"}]}
usage_chunk = {"choices": [], "usage": {"prompt_tokens": 8, "completion_tokens": 9, "total_tokens": 17}}
live_null_chunk = {"choices": [{"index": 0, "delta": {"content": None}, "finish_reason": None}]}
print(piece_chunk["choices"][0]["delta"]["content"])

Alleen piece_chunk bevat tekst. De andere zijn allemaal manieren om niets te bevatten:

StukjeWat delta bevatDe tekst
het eerste stukje{"role": "assistant", "content": ""}""
een stukje met een deel{"content": "Hello there, it "}"Hello there, it "
het slotstukje{}, helemaal geen content-sleutelgeen
het usage-stukjeer is geen delta, omdat choices leeg isgeen
een live null-delta{"content": None}geen

chunk["choices"][0]["delta"]["content"] werkt voor de eerste twee rijen en mislukt bij de andere drie. Het slotstukje geeft een KeyError, omdat de delta geen content heeft. Het usage-stukje geeft een IndexError, omdat er geen choices[0] is. Het live stukje geeft None, en dat is geen tekst.

Lezen wat er misschien niet is

Controleer eerst de lege lijst. Een lege lijst is onwaar in een if, dus if not chunk["choices"]: vangt het usage-stukje af voordat je erin indexeert.

Gebruik voor de delta .get("content"), de dictionarymethode die je al eerder gebruikte: die geeft de waarde terug als de sleutel er is, en None als die er niet is. Daarmee is het slotstukje afgehandeld. Voor het live stukje krijg je nog steeds None, dus sluit af met or "":

for delta in [{"content": "Hi "}, {"content": ""}, {}, {"content": None}]:
    print("[" + (delta.get("content") or "") + "]")

a or b geeft a als a waar is en anders b. Een niet-lege string is waar. None en de lege string zijn allebei onwaar, dus allebei worden ze "". Samen geven de controle op de lege lijst en .get("content") or "" een string voor elke vorm in de tabel, nooit None en nooit een fout.

.get("content", "") is op zichzelf niet genoeg. De standaardwaarde wordt alleen gebruikt als de sleutel ontbreekt. Bij {"content": None} is de sleutel er wel, dus krijg je None terug.

Bouw chunk_text

chunk_text(chunk) neemt de dictionary van één gedecodeerd stukje en geeft "" terug als chunk["choices"] leeg is, en anders de content van de delta, of "" als die er niet is. Geef de content precies terug zoals hij is, inclusief spaties: de spaties aan de uiteinden van de delen maken er zinnen van als je ze samenvoegt.

Voer python streaming.py uit. De demonstratie leest de stream voor Say hello in a short sentence. opnieuw. Voor elke regel slaat ze over waarvoor parse_line None teruggeeft, stopt ze bij "[DONE]", decodeert ze de JSON en drukt ze af wat chunk_text teruggeeft, tussen vierkante haken, zodat ook een lege string zichtbaar is:

The text of each chunk, in brackets:
[]
[Hello there, it ]
[is nice to ]
[meet you.]
[]
[]
A long reply, streamed by stream_reply:
Run stopped at the next function to build: stream_reply is built in Lesson 6.

Zes stukjes: het eerste stukje met zijn lege content, de drie delen, het slotstukje en het usage-stukje. Het commentaar, de lege regels en [DONE] kwamen nooit bij chunk_text, omdat parse_line ze eerst uitsorteerde. Let op de spatie voor elke sluitende haak: die hoort bij het deel.

Een live model stuurt een stukje waarvan de delta {"content": None} is. Wat geeft chunk["choices"][0]["delta"].get("content", "") terug?

Wat moet chunk_text teruggeven voor het usage-stukje, {"choices": [], "usage": {...}}, en waarom?

Opdracht

Vervang in streaming.py de onafgemaakte body van chunk_text(chunk). De functie krijgt één stukje dat json.loads al in een dictionary heeft omgezet.

  • Geef "" terug als chunk["choices"] leeg is.

  • Geef anders de content van chunk["choices"][0]["delta"] terug, precies zoals hij is, of "" als de delta geen content-sleutel heeft of de content None is.

chunk_text geeft altijd een string terug en werpt voor deze vormen nooit een fout op. Voer python streaming.py uit om de tekst van elk stukje tussen haken te zien, en controleer daarna je werk.