0%

Streaming · Abschlussprojekt

Abschlussprojekt: Projekt: Antworten im Lern-Chat streamen

In Kapitel 2 hast du chat_turn gebaut, eine Funktion für den Lern-Chat, die die Systemnachricht für den Lern-Chat an erster Stelle hält, den Verlauf kürzt und auf die ganze Antwort wartet. Dieses Projekt baut dieselbe Funktion noch einmal in streaming.py, mit einem Unterschied: Die Antwort wird auf den Bildschirm gestreamt, während das Modell sie schreibt.

history = []
reply, history = chat_turn(history, "Explain Python lists in detail.")

Die Antwort erscheint Stück für Stück, während chat_turn läuft. Wenn die Funktion zurückkehrt, enthält reply den ganzen Text und history das bisherige Gespräch, genau wie in Kapitel 2.

Was bleibt und was sich ändert

Sieh dir das chat_turn aus Kapitel 2 in conversation.py an. Es tut vier Dinge: Es bereitet die Nachrichten mit prepare_messages vor, sendet sie, liest die Antwort und gibt die Antwort zusammen mit einem neuen, von add_turn gebauten Verlauf zurück. Nur die mittleren beiden ändern sich:

SchrittKapitel 2Dieses Projekt
Vorbereitenprepare_messages(history, question)dasselbe
Sendensend_body(...)open_stream(...) aus Lektion 3
Lesenanswer_text(response)stream_reply(response) aus Lektion 6 und 7
Zurückgeben(reply, add_turn(messages[:-1], question, reply))dasselbe

prepare_messages und add_turn werden oben in streaming.py aus dem fertigen Code von Kapitel 2 importiert, du verwendest sie also so, wie sie sind.

Baue chat_turn

chat_turn(history, question, *, session=None) in streaming.py:

  1. messages = prepare_messages(history, question).

  2. Öffne mit open_stream einen Stream für {"model": MODEL, "messages": messages} und reiche dabei session=session weiter.

  3. reply = stream_reply(response). Das gibt die Antwort beim Eintreffen aus.

  4. Gib (reply, add_turn(messages[:-1], question, reply)) zurück.

Wie in Kapitel 2 lässt messages[:-1] die offene Frage weg, und add_turn fügt sie zusammen mit der Antwort als eine ganze Runde wieder ein. Die Liste des Aufrufers wird nie verändert.

Wenn der Stream abbricht

chat_turn fängt nichts ab. Wenn der Stream abbricht, löst stream_reply StreamBroken aus, und der Fehler geht direkt durch chat_turn an dessen Aufrufer. Genau darum geht es: chat_turn erreicht Schritt 4 nie, also wird kein Verlauf zurückgegeben, und die halbe Antwort landet in keinem. Der eigene Verlauf des Aufrufers ist genau so, wie er war, also kann er dieselbe Frage erneut stellen, ohne etwas rückgängig machen zu müssen. Der Teiltext steht dem Aufrufer weiterhin als error.partial_text zur Verfügung, falls er zeigen will, was angekommen ist.

StreamBroken in chat_turn abzufangen und error.partial_text dem Verlauf hinzuzufügen, würde genau das Problem zurückbringen, das Lektion 7 gelöst hat: eine halbe Antwort, gespeichert, als hätte das Modell sie so gesagt.

Den Chat ausführen

Führe python streaming.py aus. Die Demonstration beginnt mit einem leeren Verlauf und stellt zwei Fragen. Dein chat_turn gibt jede Antwort aus, während sie hereinströmt:

The streaming study chat:
You: What does len() return?
len() returns the number of items in a sequence or collection, such as the characters in a string or the elements in a list.
You: Explain Python lists in detail.
A list is an ordered collection that can hold any mix of values. You create one with square brackets, such as scores = [90, 72, 85]. Each item has a position, starting at 0, so scores[0] is 90 and scores[-1] is the last item. Slicing takes a range: scores[0:2] gives a new list with the first two items. Lists are mutable, which means you can change them after creating them: scores.append(60) adds an item to the end, scores.remove(72) removes the first matching value, and scores[1] = 75 replaces an item in place. Because a list is changed in place, two names that refer to the same list both see the change. Use list.copy() when you need an independent list. len(scores) tells you how many items it holds.
The history now holds 5 messages.

Der Verlauf enthält die Systemnachricht für den Lern-Chat und zwei ganze Runden. Die Demonstration hat nur die You:-Zeilen und die Anzahl ausgegeben: Die Antworten kamen von stream_reply in deinem chat_turn, während sie eintrafen.

Die Demonstration zeigt den Normalfall. Bevor du deine Arbeit prüfst, denk die Fälle durch, die sie nicht zeigt: einen Verlauf, der über MAX_MESSAGES hinausgewachsen ist, einen Verlauf, der mit einer anderen Systemnachricht beginnt, und einen Stream, der mittendrin abbricht. prepare_messages behandelt die ersten beiden wie in Kapitel 2, und das stream_reply aus Lektion 7 behandelt den dritten, also braucht chat_turn für keinen davon etwas Zusätzliches. Wenn du nicht weiterkommst, bitte Monty um einen Hinweis zu einem Fall, ohne nach der ganzen Funktion zu fragen.

Wie es weitergeht

Dein Lern-Chat streamt jetzt. Kapitel 4 wartet absichtlich wieder auf ganze Antworten, weil es das Modell um JSON bittet, das dein Programm in Python-Objekte einliest, und ein halbes Objekt nützt niemandem. Kapitel 5 verlegt dann beide Arten von Anfragen auf den openai-Client, der dir abnimmt, was open_stream und stream_reply tun, sodass du weißt, was er im Hintergrund macht.

Während chat_turn(history, "Explain decorators.") bricht der Stream mittendrin ab. Was bekommt der Aufrufer?

Wer gibt die Antwort aus, während sie gestreamt wird, und wie oft erscheint sie auf dem Bildschirm?

Aufgabe

Ersetze in streaming.py den unfertigen Rumpf von chat_turn(history, question, *, session=None).

  • messages = prepare_messages(history, question).

  • Öffne mit open_stream(..., session=session) einen Stream für {"model": MODEL, "messages": messages}.

  • reply = stream_reply(response), das die Antwort beim Eintreffen ausgibt.

  • Gib (reply, add_turn(messages[:-1], question, reply)) zurück.

chat_turn gibt selbst nichts aus, fängt keine Ausnahmen ab und verändert nie die Liste des Aufrufers. Wenn der Stream abbricht, erreicht das StreamBroken aus stream_reply den Aufrufer, und es wird kein Verlauf zurückgegeben. Führe python streaming.py aus, um den Lern-Chat streamen zu sehen, und prüfe dann deine Arbeit.