0%

Gespräche und Anweisungen

Das Kontextfenster und max_tokens

Dein Gespräch wächst jetzt mit jeder Runde um zwei Nachrichten, und bei jedem Aufruf wird alles davon geschickt. Das hat zwei Folgen, die du beim Entwurf berücksichtigen musst: eine Grenze dafür, wie viel ein Modell lesen kann, und eine Rechnung, die mit jeder Runde wächst.

Das Kontextfenster

Ein Modell kann in einem Aufruf nur mit einer begrenzten Anzahl von Tokens arbeiten. Diese Grenze ist sein Kontextfenster (context window). Alles in der Anfrage zählt dazu: die Systemnachricht, jede frühere User- und Assistant-Nachricht und die neue Frage. Bei den meisten Modellen zählt auch die Antwort, die das Modell schreibt, zu derselben Grenze.

Die Fenster unterscheiden sich stark zwischen Modellen, und sie sind über die Jahre gewachsen. Sie reichen je nach Modell von einigen Zehntausend Tokens bis zu einer Million oder mehr, also schlag die Zahl für das Modell nach, das du verwendest. Selbst das untere Ende klingt nach reichlich Platz für einen Chat. Es reicht aber nicht mehr, wenn ein Gespräch sehr lange läuft oder wenn jede Nachricht ein eingefügtes Dokument mitbringt, wie es deine in Kapitel 8 tun werden.

Wenn eine Anfrage nicht hineinpasst, bekommst du keine Antwort, die stillschweigend die ältesten Nachrichten ignoriert. Was passiert, hängt vom Anbieter ab: Meistens schlägt die Anfrage mit einem Fehler fehl, und manche Dienste kürzen einen Teil des Gesprächs für dich, ohne zu fragen, welcher Teil wichtig ist. So oder so ist dein Programm der richtige Ort, um zu entscheiden, was bleibt. Das macht Lektion 5.

Jede Runde bezahlt den ganzen Verlauf noch einmal

In Kapitel 1 hast du den Preis eines Aufrufs anhand seiner usage berechnet: Eingabe-Tokens zu einem Preis, Ausgabe-Tokens zu einem anderen. In einem Gespräch enthält die Eingabe jedes Aufrufs den ganzen bisherigen Verlauf, deshalb liest und bezahlt jede Runde alles davor noch einmal. Manche Anbieter gewähren einen Rabatt auf Eingaben, die sie kürzlich gesehen haben, genannt Prompt-Caching (prompt caching), aber du schickst trotzdem jedes Mal den ganzen Verlauf, und dieser Kurs berechnet jedes Eingabe-Token zum vollen Preis.

Hier ist ein durchgerechnetes Beispiel mit runden Zahlen. Angenommen, die Systemnachricht hat 90 Tokens, jede Frage 10 Tokens und jede Antwort 90 Tokens. Runde 1 schickt die Systemnachricht und eine Frage. Jede spätere Runde schickt außerdem jede frühere Frage und Antwort mit, also 100 Tokens mehr pro Runde:

RundeEingabe-TokensAusgabe-TokensKosten zu pl-live-PreisenKosten zu den Preisen des größeren Modells
110090$0.0000147$0.0011
220090$0.0000177$0.0013
550090$0.0000267$0.0019
10100090$0.0000417$0.0029

Die Kosten stammen aus den Preistabellen von Kapitel 1: $0.03 pro Million Eingabe-Tokens und $0.13 pro Million Ausgabe-Tokens für pl-live sowie $2.00 und $10.00 für das größere Modell. Runde 10 kostet zu pl-live-Preisen 1000 × 0.03 / 1000000 + 90 × 0.13 / 1000000 Dollar.

Runde 10 schickt zehnmal so viele Eingabe-Tokens wie Runde 1. Zu pl-live-Preisen kostet sie etwa das 2.8-Fache von Runde 1, nicht das Zehnfache, weil die Antwort, die als Ausgabe berechnet wird, gleich lang bleibt. Der Eingabeanteil der Kosten wächst mit jeder Runde, und über das ganze Gespräch mit zehn Runden schicken die Aufrufe 5500 Eingabe-Tokens, während zehn separate Aufrufe mit jeweils der Systemnachricht und einer Frage 1000 schicken würden.

Ein langes Gespräch wird außerdem langsamer. Bevor ein Modell das erste Wort seiner Antwort schreibt, muss es die ganze Anfrage lesen, deshalb dauert es bei einer längeren Anfrage länger, bis die Antwort beginnt.

max_tokens begrenzt die Antwort

Mit max_tokens im Anfrage-Body kannst du eine Obergrenze dafür setzen, wie lang die Antwort sein darf:

body = {
    "model": "pl-scripted",
    "messages": [{"role": "user", "content": "Explain decorators."}],
    "max_tokens": 200,
}
print(body["max_tokens"])

max_tokens begrenzt nur, was das Modell schreibt. Am Verlauf, den du schickst, ändert es nichts. Wenn das Modell die Obergrenze erreicht, hört es an der Stelle auf, an der es gerade ist, und die Antwort hat den finish_reason "length", den du in Kapitel 1, Lektion 5 kennengelernt hast. Die Antwort ist dann mitten in der Antwort abgeschnitten, und bei einem Modell, das vor dem Antworten nachdenkt, kann sie sogar leer sein. Eine Obergrenze schützt also dein Budget, aber eine zu niedrige Grenze liefert dir kaputte Antworten.

Das Live-Modell beachtet max_tokens. Das geskriptete Modell akzeptiert es und ignoriert es, deine Anfragen an pl-scripted funktionieren also weiter, ob du es mitschickst oder nicht. SCRIPTED_MODEL.md sagt das auch.

Was wächst mit jeder neuen Runde in einem Gespräch, das jedes Mal den ganzen Verlauf schickt?

Du setzt "max_tokens": 50 in einer Anfrage an das Live-Modell. Was begrenzt das?

Ein Lern-Chat läuft seit einer Stunde. Warum ist jede neue Antwort langsamer und teurer, als die erste es war?