0%

Kapitel 3

Streaming

Warum auf die ganze Antwort warten?

Dein Lern-Chat aus Kapitel 2 schickt eine Frage ab und wartet dann. Nichts erscheint, bis die ganze Antwort angekommen ist, und bei einer langen Antwort eines echten Modells kann das viele Sekunden dauern. Chat-Apps, die du kennst, machen es anders: Die Antwort erscheint ein paar Wörter auf einmal, während das Modell sie noch schreibt. Das nennt man Streaming, und in diesem Kapitel baust du es.

Dein Projekt für dieses Kapitel

Öffne streaming.py im Projekteditor. Die Datei beginnt mit diesen Imports:

from conversation import add_turn, prepare_messages
from errors import StreamBroken
from llm_basics import answer_text, send_body

conversation.py ist der fertige Code aus Kapitel 2 und llm_basics.py der aus Kapitel 1, beide liegen daneben. Du musst keine der beiden Dateien ändern. Wie bisher verwendet die Prüfung deiner Arbeit eigene Kopien davon. Eine Änderung dort kann also keine Bewertung beeinflussen, aber sie kann die Demonstration lahmlegen. errors.py enthält eine Ausnahme, StreamBroken, die du in Lektion 7 verwendest.

Unter den Konstanten stehen fünf unfertige Funktionen, eine oder zwei pro Lektion, und eine fertige Funktion namens preview_reply, die die Demonstration in dieser Lektion verwendet. python streaming.py führt die Datei aus, und die Demonstration am Ende ruft jede deiner Funktionen auf, sobald es sie gibt.

Sieh dir den Unterschied an

Führe in der Shell jetzt python streaming.py aus, bevor du irgendetwas änderst. Die Demonstration fragt zweimal Explain Python lists in detail.: einmal so wie in Kapitel 2 und einmal als Stream. Beobachte den Bildschirm, während sie läuft, nicht nur das Ergebnis:

Without streaming:
A list is an ordered collection that can hold any mix of values. You create one with square brackets, such as scores = [90, 72, 85]. Each item has a position, starting at 0, so scores[0] is 90 and scores[-1] is the last item. Slicing takes a range: scores[0:2] gives a new list with the first two items. Lists are mutable, which means you can change them after creating them: scores.append(60) adds an item to the end, scores.remove(72) removes the first matching value, and scores[1] = 75 replaces an item in place. Because a list is changed in place, two names that refer to the same list both see the change. Use list.copy() when you need an independent list. len(scores) tells you how many items it holds.
(The whole reply took 1.7 seconds.)
With streaming:
A list is an ordered collection that can hold any mix of values. You create one with square brackets, such as scores = [90, 72, 85]. Each item has a position, starting at 0, so scores[0] is 90 and scores[-1] is the last item. Slicing takes a range: scores[0:2] gives a new list with the first two items. Lists are mutable, which means you can change them after creating them: scores.append(60) adds an item to the end, scores.remove(72) removes the first matching value, and scores[1] = 75 replaces an item in place. Because a list is changed in place, two names that refer to the same list both see the change. Use list.copy() when you need an independent list. len(scores) tells you how many items it holds.
(The whole reply took 1.9 seconds.)
The lines of a stream, as iter_lines() gives them:
Run stopped at the next function to build: open_stream is built in Lesson 3.

Auf dieser Seite sehen die beiden Antworten gleich aus. Auf deinem Bildschirm waren sie es nicht. Beim ersten Mal passierte fast zwei Sekunden lang nichts, und dann erschien der ganze Absatz auf einmal. Beim zweiten Mal erschienen die ersten Wörter sofort, und der Rest folgte ein paar Wörter auf einmal. Die letzte Zeile ist die übliche Stoppzeile: Die Demonstration hält bei der ersten Funktion an, die du noch nicht gebaut hast.

Das geskriptete Modell streamt diese Antwort in 43 Textstücken von bis zu drei Wörtern, im Abstand von etwa 40 Millisekunden. Wenn du keinen Stream anforderst, wartet es genauso lange und schickt dann alles auf einmal, damit du die beiden vergleichen kannst. SCRIPTED_MODEL.md nennt beide Regeln. Die Zeiten in Klammern können von Lauf zu Lauf um ein paar Zehntelsekunden abweichen.

Was Streaming ändert und was nicht

Ein Modell schreibt seine Antwort Token für Token, wie in Kapitel 1 beschrieben. Ohne Streaming sammelt der Dienst alle Tokens und schickt die Antwort, wenn das letzte geschrieben ist. Mit Streaming leitet er die Tokens in kleinen Gruppen weiter, sobald sie geschrieben sind.

Das ändert eine Sache: wie schnell der Leser etwas sieht. Mit Streaming erscheinen die ersten Wörter, sobald das Modell sie schreibt. Wer liest, kann sofort anfangen und sieht, dass das Programm arbeitet und nicht hängt.

Den Rest ändert es nicht:

  • Die Gesamtzeit bleibt gleich. Das Modell schreibt die Antwort in beiden Fällen gleich schnell. Beide Läufe oben dauerten vom Anfang bis zum Ende etwa zwei Sekunden.

  • Die Kosten bleiben gleich. Du zahlst wie in Kapitel 1 für die gesendeten und die geschriebenen Tokens, und eine gestreamte Antwort hat genau dieselben Tokens.

  • Die Antwort bleibt gleich. Streaming ändert, wie die Antwort übertragen wird, nicht, was das Modell schreibt.

Bei einer kurzen Antwort spielt der Unterschied kaum eine Rolle. Bei einer langen Antwort eines Live-Modells, die zehn Sekunden oder länger dauern kann, ist es der Unterschied zwischen einem Programm, das zu reagieren scheint, und einem, das zu hängen scheint.

Streaming ist nicht immer das, was du willst. Wenn dein Programm die ganze Antwort braucht, bevor es etwas damit anfangen kann, etwa um in Kapitel 4 JSON daraus zu lesen, bringt es nichts, sie Stück für Stück anzuzeigen. Genau deshalb wartet Kapitel 4 wieder auf ganze Antworten.

Der Plan für dieses Kapitel

Die nächste Lektion zeigt, was ein Stream tatsächlich enthält. Die Lektionen 3 bis 7 bauen dann Schritt für Schritt einen Stream-Leser: einen Stream öffnen, entscheiden, welche seiner Zeilen wichtig sind, den Text aus jedem Textstück holen, die Textstücke beim Eintreffen ausgeben und dabei die ganze Antwort behalten, und einen Stream, der mittendrin abbricht, nicht als vollständige Antwort behandeln. Das Projekt lässt den Lern-Chat aus Kapitel 2 seine Antworten streamen.

Ein Programm bittet ein Live-Modell um eine lange Erklärung. Was verbessert das Streaming der Antwort?

Eine Antwort kostet $0.0004, wenn du auf sie als Ganzes wartest. Was kostet dieselbe Antwort, wenn du sie streamst?

Welches Programm gewinnt am wenigsten durch Streaming der Antwort?