0%

Wenn etwas schiefgeht · Übung

Nur erneut versuchen, was sich lohnt

Lektion 1 hat Fehler in drei Gruppen eingeteilt. Nur die erste, „Nach einer Wartezeit erneut versuchen“, ist einen weiteren Versuch wert. Diese Lektion macht aus dieser Gruppe eine Funktion, die ein Programm fragen kann: Soll ich es bei diesem Fehler noch einmal versuchen?

Nach dem Typ fragen

Der openai-Client löst für jede Art von Fehler eine andere Klasse aus, und die Klassen bilden einen Stammbaum. isinstance prüft eine Klasse und jede Klasse darunter, sodass ein einziger Aufruf nach mehreren gleichzeitig fragen kann, wenn du ihm ein Tupel von Klassen gibst:

print(isinstance(3, (int, float)))
print(isinstance("3", (int, float)))

Die vier Klassen, bei denen sich ein erneuter Versuch lohnt, sind:

KlasseBedeutung
openai.RateLimitError429, gerade zu viele Anfragen
openai.APITimeoutErrorkeine Antwort innerhalb des Timeouts des Clients
openai.APIConnectionErrordie Verbindung ist vor jeder Antwort gescheitert
openai.InternalServerErrorjeder Status ab 500: 500, 502, 503 und 504 kommen alle als diese Klasse an

APITimeoutError ist schon eine Art von APIConnectionError, das Tupel würde also auch ohne sie funktionieren. Sie steht trotzdem darin, damit jemand beim Lesen sieht, dass an Timeouts gedacht wurde.

Alles andere bekommt False: BadRequestError (400), NotFoundError (404) und PermissionDeniedError (403), und Fehler, die gar nicht vom Client kommen, etwa ein ValueError, ein pydantic-ValidationError oder ein StreamBroken.

Nicht zu weit

openai.APIError ist die Klasse über jedem Fehler, den der Client über das Netzwerk auslöst, und openai.APIStatusError ist die Klasse über jedem Fehler, der mit einem Status kam. Beide sind verlockend, weil ein Name viel abdeckt. Beide sind zu weit: Ein 400 ist auch ein APIStatusError, und ihn erneut zu versuchen, sendet dieselbe kaputte Anfrage noch einmal. Nenne die vier Klassen mit ihrem Namen.

Zwei Grenzfälle

Ein Stream, der beim Lesen abbricht, löst ebenfalls APIConnectionError aus. should_retry sagt dafür True, und das ist richtig für einen ganzen Aufruf, der scheiterte, bevor Text angezeigt wurde. Ein Stream, der schon Text ausgegeben hat, wird anders behandelt: Das vorgegebene stream_once macht aus diesem Abbruch StreamBroken, das should_retry ablehnt, und Lektion 9 erklärt die Regel.

Die eigene Regel des Clients für erneute Versuche, die Kapitel 5 mit max_retries=0 abgeschaltet hat, versucht auch 408 („Request Timeout“) und 409 („Conflict“) erneut. Der Kurs lässt diese beiden weg; keiner davon kommt von llm-api.

Ausführen

show_failures() gibt die Fehler zurück, auf die es gestoßen ist. Wenn should_retry geschrieben ist, führe python chapter9_demo.py aus. Die Demonstration fragt nach jedem davon:

Worth another attempt?
  RateLimitError: True
  InternalServerError: True
  InternalServerError: True
  APITimeoutError: True
  NotFoundError: False
  BadRequestError: False
rate-limit:2 with retries:
  Attempt 1: RateLimitError
Run stopped at the next function to build: wait_seconds is built in Lesson 4.

Die beiden InternalServerError-Zeilen sind der 500 und der 504. Die abgeschnittene Antwort steht nicht in der Liste, weil sie nichts ausgelöst hat.

Der nächste Teil der Demonstration ist retry_demo in chapter9_demo.py, das eine Anfrage bis zu dreimal versucht. Es hat beim ersten Fehler aufgehört, weil es wissen muss, wie lange es warten soll. Das ist Lektion 4.

Warum schreibst du should_retry nicht als return isinstance(error, openai.APIStatusError)?

Ein Stream bricht ab, als schon zwei Sätze auf dem Bildschirm stehen. Was bekommt should_retry, und was antwortet es?

Aufgabe

Schreib in reliable.py die Funktion should_retry(error). Gib True zurück, wenn error ein openai.RateLimitError, openai.APITimeoutError, openai.APIConnectionError oder openai.InternalServerError ist, mit einem einzigen isinstance-Aufruf und einem Tupel dieser vier Klassen. Gib für jeden anderen Fehler False zurück, auch für einen 400, 404 oder 403, einen einfachen ValueError, einen pydantic-ValidationError und einen StreamBroken. Führe python chapter9_demo.py aus, um das Urteil für jeden Fehler aus Lektion 1 zu sehen, und prüfe dann deine Arbeit.