0%

Streamen · oefening

Herken de regels die ertoe doen

Je stream komt nu binnen als gedecodeerde regels: commentaar, lege regels, data:-regels met JSON, en data: [DONE]. Slechts een paar ervan bevatten het antwoord. In deze les schrijf je de logica die ze sorteert, als één functie die naar één regel kijkt en zegt wat ermee moet gebeuren.

Drie antwoorden voor elke regel

parse_line(line) neemt één gedecodeerde regel en geeft een van drie dingen terug:

  • None: sla deze regel over. Dat geldt voor een lege regel, commentaar (een regel die met : begint) en elke andere regel die niet met data: begint. Server-sent events staan nog een paar andere soorten regels toe, zoals event: ... of id: .... Het gescripte model stuurt die nooit, maar andere diensten kunnen dat wel, en een lezer die alleen de data wil, slaat ze over.

  • "[DONE]": stop. De stream is compleet.

  • Anders de tekst na data:, zonder de spaties eromheen. Voor een stukje is dat de JSON-tekst, klaar voor json.loads in de volgende les.

None teruggeven voor “hier is niets” is een gebruikelijke gewoonte in Python. De aanroeper kan dan if text is None: continue schrijven en doorgaan met de volgende regel.

Controleren hoe een string begint

Twee stringmethoden doen het meeste werk. str.startswith vertelt je of een string met een bepaalde tekst begint:

line = 'data: {"choices": []}'
print(line.startswith("data:"))
print(": keep-alive".startswith("data:"))
print("".startswith("data:"))

Een lege string begint niet met data:, dus lege regels vallen zonder aparte controle in het geval overslaan.

str.removeprefix geeft de string terug zonder de tekst aan het begin, als die er staat, en laat de rest met :

line = 'data: {"choices": []}'
print("[" + line.removeprefix("data:") + "]")
print("[" + line.removeprefix("data:").strip() + "]")

De vierkante haken laten zien waar elke string begint en eindigt. removeprefix laat de spatie na de dubbele punt staan, en .strip() haalt die weg. Zoals elke stringmethode geven beide een nieuwe string terug en veranderen ze niets.

Twee details uit het formaat

De spatie na data: is optioneel. Het gescripte model schrijft data: {...} met een spatie, maar het server-sent-events-formaat staat ook data:{...} toe, en sommige diensten sturen dat. Controleer op data: zonder de spatie en haal daarna de spaties weg die erop volgen. Zes tekens afknippen met line[6:] werkt alleen als de spatie er staat.

Haal het voorvoegsel alleen aan het begin weg. Een antwoord kan zelf de tekst data: bevatten, bijvoorbeeld als een model juist dit formaat uitlegt, dus die tekst kan ook in de JSON voorkomen. line.replace("data:", "") zou elke kopie weghalen, ook die in het antwoord. removeprefix kijkt alleen naar het begin. strip("data:") is op een andere manier fout: het behandelt zijn argument als een verzameling tekens die aan beide uiteinden worden weggehaald, niet als één voorvoegsel.

De eindmarkering heeft geen speciaal geval nodig. data: [DONE] begint met data:, en de tekst erna is na het strippen "[DONE]". Je kunt er nog steeds expliciet op controleren als je dat duidelijker vindt lezen.

Het formaat staat ook toe dat één event over meerdere data:-regels is verspreid, die een lezer met newlines samenvoegt. Het gescripte model en diensten in OpenAI-stijl sturen één JSON-document per regel, dus parse_line behandelt elke data:-regel als één event.

Bouw parse_line

Schrijf parse_line(line) volgens de beschrijving hierboven. Voer daarna python streaming.py uit. De demonstratie haalt elke gedecodeerde regel van de stream voor Say hello in a short sentence. door je functie en drukt af wat terugkomt met repr(), dat een string tussen aanhalingstekens toont, zodat je None van een string kunt onderscheiden:

What parse_line makes of each line:
None
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"role": "assistant", "content": ""}, "finish_reason": null}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "Hello there, it "}, "finish_reason": null}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "is nice to "}, "finish_reason": null}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {"content": "meet you."}, "finish_reason": null}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [{"index": 0, "delta": {}, "finish_reason": "stop"}]}'
None
'{"id": "chatcmpl-scripted-ff5ff3bedeae40fb85e5e4dc", "object": "chat.completion.chunk", "created": 1794141686, "model": "pl-scripted", "choices": [], "usage": {"prompt_tokens": 8, "completion_tokens": 9, "total_tokens": 17}}'
None
'[DONE]'
None
The text of each chunk, in brackets:
Run stopped at the next function to build: chunk_text is built in Lesson 5.

De eerste None is het commentaar, en elke andere None is een lege regel. Elke JSON-tekst is het voorvoegsel data: kwijt. De demonstratie drukte ook de regel na '[DONE]' af, de laatste lege regel, alleen omdat ze elke regel afdrukt die ze krijgt. Een echte lezer stopt bij [DONE], zoals de jouwe in les 6 zal doen.

De dienst stuurt maar een paar soorten regels, dus probeer de andere gevallen in de voordat je je werk controleert. parse_line stuurt niets over het netwerk, dus je kunt de functie direct aanroepen. Start Python met python en probeer een regel zonder spatie na de dubbele punt, en een die helemaal geen data is:

from streaming import parse_line
print(parse_line('data:{"choices": []}'))
print(parse_line("event: message"))

De eerste zou de JSON-tekst moeten afdrukken en de tweede None.

Wat moet parse_line(": data: hello") teruggeven?

line is 'data: {"text": "data: arrives in lines"}'. Welke expressie geeft precies de JSON-tekst, voor deze regel en voor elke andere dataregel?

Opdracht

Vervang in streaming.py de onafgemaakte body van parse_line(line). De functie krijgt één gedecodeerde regel, een str.

  • Geef None terug voor een regel die niet met data: begint. Daaronder vallen lege regels, commentaar (regels die met : beginnen) en regels zoals event: message.

  • Geef "[DONE]" terug voor de eindmarkering, data: [DONE].

  • Geef voor elke andere data:-regel de tekst na data: terug, zonder de spaties eromheen. De spatie na de dubbele punt kan ontbreken, en de tekst zelf kan data: bevatten, dat moet blijven zoals het is.

Voer python streaming.py uit om te zien wat je functie van elke regel maakt, en controleer daarna je werk.