0%

Wenn etwas schiefgeht · Übung

Eine abgeschnittene Antwort erkennen

In der Demonstration aus Lektion 1 war die length-Zeile die einzige, die nichts ausgelöst hat. Der Aufruf war erfolgreich, und die Antwort sah aus wie jede andere. Ihr finish_reason war aber "length", und das bedeutet, dass das Modell aufgehört hat, weil es max_tokens erreicht hat, nicht weil es fertig war.

Unvollständig, auch wenn es gut aussieht

Explain Python lists in detail. bekommt im Szenario length diesen Inhalt:

A list is an ordered collection that can

Hier hört der Satz offensichtlich mittendrin auf. Oft ist es weniger offensichtlich: Eine abgeschnittene Liste von Schritten kann nach einem vollständigen Schritt enden, und abgeschnittenem JSON kann die letzte Frage oder die schließende Klammer fehlen. Ein Programm, das nur content liest, gibt eine solche Antwort weiter, als wäre sie die ganze Antwort.

Ein Reasoning-Modell, wie das hinter pl-live, kann abgeschnitten werden, bevor es überhaupt etwas schreibt. Es verbraucht einen Teil von max_tokens zum Nachdenken, und wenn das Nachdenken das Limit aufbraucht, ist der sichtbare Inhalt "". Das Szenario empty-length ahmt das nach.

Deshalb prüft ein Programm response.choices[0].finish_reason, bevor es einer Antwort vertraut. "stop" bedeutet, dass das Modell fertig ist, und "tool_calls", dass es nach Tools fragt. Beides ist vollständig. "length" nicht.

ReplyCutOff

errors.py stellt für diesen Fall einen Fehler bereit. Er funktioniert wie StreamBroken aus Kapitel 3: Du löst ihn mit dem Text aus, der angekommen ist, und wer ihn abfängt, liest partial_text:

raise ReplyCutOff(text)
except ReplyCutOff as error:
    print(error.partial_text)

check_finished(response) löst ReplyCutOff mit dem Inhalt der Antwort aus, wenn der Finish-Reason "length" ist. Eine Antwort, die nach Tools gefragt hat, oder eine ohne Text hat den Inhalt None, also übergib in diesem Fall stattdessen "": partial_text ist immer ein String. Bei jedem anderen Finish-Reason gibt check_finished nichts zurück.

Eine abgeschnittene Antwort gehört zur Gruppe „Die Anfrage korrigieren“ aus Lektion 1. Wer dieselbe Anfrage noch einmal sendet, bekommt dieselbe abgeschnittene Antwort, deshalb wird sie nicht erneut versucht. Die Lösung ist ein höheres max_tokens oder eine kürzere Anfrage, und das entscheidet die Person oder das Programm, die die Anfrage gebaut hat.

Die Parse-Hilfsfunktion macht dasselbe

parse_quiz_reply aus Kapitel 5 hat das Quiz über die Parse-Hilfsfunktion des Clients gesendet. Die Hilfsfunktion prüft finish_reason selbst: Bei "length" löst sie openai.LengthFinishReasonError aus, bevor sie versucht, irgendetwas zu validieren. check_finished gibt jedem anderen Aufruf denselben Schutz, mit einem kurseigenen Fehler.

Ausführen

Wenn check_finished geschrieben ist, führe python chapter9_demo.py aus. Die Demonstration sendet Explain Python lists in detail. über call_once im Szenario length und im Szenario empty-length, übergibt jede Antwort an check_finished und bittet dann parse_quiz_reply aus Kapitel 5 im Szenario length um ein Quiz zu notes/03-lists.md:

A reply under length:
  ReplyCutOff. The partial text was 'A list is an ordered collection that can'
A reply under empty-length:
  ReplyCutOff. The partial text was ''
A quiz through the parse helper under length:
  LengthFinishReasonError
The same question until the budget refuses it:
Run stopped at the next function to build: check_budget is built in Lesson 6.

Jede abgeschnittene Antwort ist jetzt ein Fehler mit Namen statt einer kurzen Antwort, die vollständig aussieht.

check_finished hat ReplyCutOff ausgelöst. Warum wird dieselbe Anfrage nicht einfach noch einmal gesendet?

Im Szenario empty-length ist der Inhalt der Antwort "" und ihr finish_reason ist "length". Was sollte check_finished tun?

Aufgabe

Schreib in reliable.py die Funktion check_finished(response). Wenn response.choices[0].finish_reason gleich "length" ist, löse ReplyCutOff mit dem Inhalt der Antwort aus, oder mit "", wenn der Inhalt None ist. Bei jedem anderen Finish-Reason gib nichts zurück. Verwende das vorgegebene ReplyCutOff aus errors.py. Führe python chapter9_demo.py aus, um zu sehen, wie die abgeschnittenen Antworten erkannt werden, und prüfe dann deine Arbeit.