0%

Kapitel 9

Wenn etwas schiefgeht

Was bei einem Modellaufruf schiefgehen kann

Jede Funktion, die der Lernassistent bisher hat, ruft das Modell auf und hofft das Beste. Ist der Dienst ausgelastet, langsam oder mit der Anfrage nicht einverstanden, wandert der Fehler durch deinen Code nach oben und beendet das Programm. Das war richtig, solange du gelernt hast, wie ein Aufruf aussieht, und Kapitel 5 hat die eigenen erneuten Versuche des Clients abgeschaltet, damit du jeden Fehler siehst. Dieses Kapitel entscheidet, was mit jedem einzelnen geschehen soll.

Ein Modellaufruf kann auf mehr Arten scheitern als die meisten Funktionsaufrufe. Der Dienst kann überlastet sein, eine Antwort kann zu lange dauern, die Anfrage kann falsch sein, die Antwort kann mittendrin aufhören, und ein Programm mit einer Schleife, wie der Agent aus Kapitel 7, kann mehr Tokens verbrauchen, als irgendjemand wollte. Manches davon verschwindet, wenn du wartest und es erneut versuchst. Anderes nie, und ein erneuter Versuch kostet dann nur Zeit und Geld.

Dein Projekt für dieses Kapitel

Öffne reliable.py im Projekteditor. Unter time, openai und pydantics ValidationError importiert die Datei aus den Kursdateien, die du in früheren Kapiteln gebaut hast. agent.py ist der fertige Agent aus Kapitel 7, retrieval.py und answer_models.py sind das fertige Retrieval aus Kapitel 8, und die Dateien, die sie importieren, liegen wie bisher daneben. Du musst keine davon ändern. Die Prüfung deiner Arbeit verwendet eigene Kopien, sodass eine Änderung dort keine Bewertung beeinflussen kann, aber sie kann die Demonstration lahmlegen.

errors.py enthält jetzt drei vorgegebene Fehlerklassen: StreamBroken aus Kapitel 3 und zwei neue, die du in Lektion 5 und 6 kennenlernst, ReplyCutOff und BudgetExceeded.

Oben in reliable.py stehen vier Zahlen, die das Kapitel verwendet: DEFAULT_MAX_TOKENS = 800, BASE_WAIT = 1, MAX_WAIT = 60 und MAX_ATTEMPTS = 3. Darunter folgt QUIZ_FORMAT, das Lektion 8 verwendet, und dann die Funktionen. Zwei davon sind fertiger Code: stream_once, das du in Lektion 9 liest, und sleep_and_say, das die Demonstration ab Lektion 7 verwendet. Zehn sind unfertig, und eine, run_agent, beginnt als die fertige Schleife aus Kapitel 7, die Lektion 8 ändert.

In diesem Kapitel führst du python chapter9_demo.py aus, nicht reliable.py. chapter9_demo.py ist eine vorgegebene Demonstration, die deine Funktionen aus reliable.py importiert und jede aufruft, sobald es sie gibt. Dazu verwendet sie eigene fertige Hilfsfunktionen: show_failures, retry_demo und budget_demo. Du musst sie nicht ändern. Deine Arbeit gehört in reliable.py, und die Prüfung deiner Arbeit führt die Demonstration nicht aus.

Sieben Arten zu scheitern

Führe jetzt in der Shell python chapter9_demo.py aus, bevor du etwas änderst. Die Demonstration ruft show_failures() auf, das siebenmal What is a Python list? sendet. Fünfmal verwendet es einen Client aus scenario_client, der das geskriptete Modell absichtlich auf eine bestimmte Art scheitern lässt (MODEL_SERVICE.md listet jedes Szenario auf). Einmal fragt es nach einem Modell, das es nicht gibt, und einmal sendet es eine Anfrage ganz ohne Nachrichten. Für jeden Fall gibt es den Klassennamen des Fehlers aus und, wenn der Fehler mit einem HTTP-Status kam, seinen status_code:

One question under each failure:
rate-limit: RateLimitError 429
server-error: InternalServerError 500
gateway-timeout:300: InternalServerError 504
slow:1500, timeout=0.5: APITimeoutError
length: finish_reason length
model pl-unknown: NotFoundError 404
no messages: BadRequestError 400
One bounded call:
Run stopped at the next function to build: call_once is built in Lesson 2.

Das bedeutet jede Zeile:

  • RateLimitError 429 heißt „zu viele Anfragen“. Der Dienst funktioniert, nimmt aber gerade nichts mehr von dir an. Seine Antwort enthält einen Retry-After-Header, der angibt, wie viele Sekunden du warten sollst, hier 1.

  • InternalServerError 500 bedeutet, dass auf der Seite des Dienstes etwas schiefgegangen ist. Deine Anfrage war möglicherweise in Ordnung.

  • InternalServerError 504 ist ein Gateway-Timeout: Ein Server vor dem Modell hat es aufgegeben, auf das Modell zu warten. Der openai-Client löst für jeden Status ab 500 InternalServerError aus, also kommen 502 und 503 auf dieselbe Weise an.

  • APITimeoutError kam von deiner eigenen Seite. Der Client für diese Zeile wartet höchstens 0.5 Sekunden, und slow:1500 braucht 1.5 Sekunden für die Antwort, also hat der Client aufgegeben. Es gibt keinen Status, weil keine Antwort angekommen ist.

  • finish_reason length ist überhaupt kein Fehler. Der Aufruf war erfolgreich, aber die Antwort hat an ihrem Token-Limit aufgehört und ist deshalb unvollständig. Es wurde nichts ausgelöst, und genau deshalb übersieht man das leicht.

  • NotFoundError 404 bedeutet, dass der Dienst kein Modell namens pl-unknown hat.

  • BadRequestError 400 bedeutet, dass der Dienst die Anfrage selbst abgelehnt hat, hier weil messages leer war.

Zwei weitere Fehler tauchen in dieser Ausgabe nicht auf. Ein 403, PermissionDeniedError, ist die Antwort von pl-live, wenn dein Konto keinen Live-Zugang hat. Und eine Verbindung kann scheitern, bevor überhaupt eine Antwort kommt, was APIConnectionError auslöst; APITimeoutError ist eine Art von APIConnectionError.

Drei Gruppen

Entscheidend ist nicht der Klassenname, sondern was dein Programm als Nächstes tun soll. Jeder Fehler fällt in eine von drei Gruppen.

Nach einer Wartezeit erneut versuchen

Die Anfrage war in Ordnung, und das Problem geht wahrscheinlich vorbei: ein 429, ein beliebiger 5xx, ein Timeout oder eine Verbindung, die scheiterte, bevor eine Antwort ankam. Einen Moment zu warten und dieselbe Anfrage noch einmal zu senden, funktioniert oft.

Die Anfrage korrigieren

Dieselbe Anfrage scheitert jedes Mal auf dieselbe Weise: ein 400, ein 404 oder eine abgeschnittene Antwort. Eine abgeschnittene Antwort braucht ein höheres max_tokens oder eine kürzere Anfrage. Einen 400 oder 404 erneut zu versuchen, scheitert nur wieder und kostet Zeit und eine Anfrage von deinem Ratenlimit. Eine abgeschnittene Antwort erneut zu versuchen, ist noch schlimmer: Das Modell schreibt sie noch einmal, und du bezahlst diese Tokens noch einmal.

Aufgeben und melden

Manche Fehler sind für dieses Programm endgültig, deshalb ist es richtig, aufzuhören und zu sagen, was passiert ist:

  • ein 403: kein Live-Zugang, und daran ändert Warten nichts;

  • eine Ablehnung, bei der das Modell eine Antwort abgelehnt hat; das ist seine Antwort und kein Fehlschlag des Aufrufs;

  • eine Ausgabe, die auch nach dem einen korrigierenden erneuten Versuch aus Kapitel 4 noch ungültig ist;

  • ein 429, dessen Retry-After dich bittet, viel später als MAX_WAIT wiederzukommen, also später als in 60 Sekunden.

Den letzten Fall sehen wir uns genauer an, weil derselbe Status zu zwei Gruppen gehören kann. pl-live hat zwei Limits. Überschreitest du das Limit pro Minute, ist sein Retry-After die Anzahl der Sekunden bis zum Beginn der nächsten Minute, zwischen 1 und 60. Warten lohnt sich also, und das Programm versucht es erneut. Überschreitest du das Tageslimit, ist sein Retry-After die Anzahl der Sekunden bis 00:00 UTC, und das können viele Stunden sein. Kein Programm sollte mitten in einem Aufruf so lange schlafen, also gibt es auf und meldet den Fehler.

Auch ein Stream, der mittendrin abbricht, löst APIConnectionError aus. Das sieht nach der ersten Gruppe aus, aber wenn schon ein Teil der Antwort auf dem Bildschirm steht, würde ein erneuter Versuch eine zweite, andere Antwort hinter die erste schreiben. Lektion 9 erklärt, warum ein Stream nur erneut versucht wird, bevor Text angezeigt wurde.

Der Plan für dieses Kapitel

Lektion 2 begrenzt jeden Aufruf, zeitlich und in der Länge der Antwort. Lektion 3 entscheidet, welche Fehler einen weiteren Versuch wert sind, und Lektion 4, wie lange davor gewartet wird. Lektion 5 erkennt eine abgeschnittene Antwort, und Lektion 6 gibt dem Programm ein eigenes Token-Budget, das einen Aufruf ablehnt, bevor er gesendet wird. Das Projekt, Lektion 7, fügt diese Teile zu einer Funktion zusammen, call_model. Lektion 8 und 9 leiten das Quiz, den Agenten und den Streaming-Chat durch sie, sodass der ganze Lernassistent einem einzigen Satz von Regeln folgt.

Ein Programm trifft auf vier Fehler: einen 429 mit Retry-After: 2, einen 400 wegen eines falsch geschriebenen Felds, einen 503 und einen 429 mit Retry-After: 30000. Welche davon sollte es nach einer Wartezeit erneut versuchen?

Warum ist es sinnlos, einen 400 Bad Request erneut zu versuchen?

Eine gestreamte Antwort hat zwei Sätze ausgegeben, als die Verbindung abbricht und der Client APIConnectionError auslöst. Warum versucht der Kurs sie nicht einfach erneut?