Wenn etwas schiefgeht · Übung
Zwischen den Versuchen länger warten
Die Demonstration in Lektion 3 hat beim ersten Fehler aufgehört, weil nichts angab, wie lange gewartet werden soll. Sofort erneut zu versuchen, ist eine schlechte Wahl: Ein überlasteter Dienst, der gerade gescheitert ist, ist eine Millisekunde später immer noch überlastet, und wenn viele Programme gleichzeitig erneut versuchen, halten sie ihn überlastet. Ein Programm sollte zwischen den Versuchen warten, und zwar nach jedem Fehlschlag länger.
Wartezeiten, die sich verdoppeln
Die übliche Regel heißt Backoff: Warte nach dem ersten Fehlschlag BASE_WAIT Sekunden, nach dem zweiten doppelt so lange, nach dem dritten viermal so lange und so weiter. Mit BASE_WAIT = 1 sind die Wartezeiten 1, 2, 4 und 8 Sekunden.
attempt zählt die Versuche ab 1. Wenn Versuch attempt scheitert, ist die Wartezeit also BASE_WAIT, attempt - 1-mal verdoppelt. Eine Schleife übernimmt das Verdoppeln:
BASE_WAIT = 1
for attempt in range(1, 5):
wait = BASE_WAIT
for step in range(attempt - 1):
wait = wait * 2
print(attempt, wait)
Echte Systeme fügen jeder Wartezeit außerdem ein wenig Zufall hinzu, damit viele Programme, die im selben Moment gescheitert sind, nicht alle im selben Moment zurückkommen. Der Kurs lässt das weg, damit Tests die genauen Wartezeiten prüfen können.
Wenn der Dienst sagt, wie lange
Ein 429 sagt dir meist, wie lange du warten sollst. Seine Antwort enthält einen Retry-After-Header, und das geskriptete Modell sendet Retry-After: 1. Wenn dort ein brauchbarer Wert steht, verwende ihn, statt zu raten.
Nur ein Fehler, der mit einer Antwort kam, hat Header. Das sind die openai.APIStatusError-Klassen, etwa RateLimitError und InternalServerError. Ihr Attribut response ist die HTTP-Antwort, und error.response.headers.get("retry-after") liest den Header oder liefert None, wenn es keinen gibt. Bei der Suche spielt Groß- und Kleinschreibung keine Rolle, also funktioniert auch "Retry-After". Ein Timeout oder ein Verbindungsfehler hat überhaupt keine Antwort, deshalb prüfst du zuerst den Typ.
Der Header ist Text, und er ist nicht immer eine Zahl. Die HTTP-Regeln erlauben auch ein Datum, etwa Wed, 21 Oct 2026 07:28:00 GMT, und ein kaputter Server kann alles Mögliche senden. float macht aus "1" den Wert 1.0 und aus "2.5" den Wert 2.5 und löst für alles, was keine Zahl ist, ValueError aus. Für None löst es außerdem TypeError aus, und deshalb wird None geprüft, bevor float aufgerufen wird.
wait_seconds
wait_seconds(error, attempt) folgt diesen Schritten, in dieser Reihenfolge:
Wenn
erroreinopenai.APIStatusErrorist, liesvalue = error.response.headers.get("retry-after").Wenn
valuenichtNoneist, wandle es innerhalb vontrymitfloatum. BeiValueErrorist der Header ein Datum oder Unsinn, also ignoriere ihn.Wenn die Zahl null oder größer ist, gib sie zurück. Eine negative Zahl ist keine brauchbare Wartezeit.
Andernfalls verdopple: Beginne mit
wait = BASE_WAIT, verdopple den Wert in einer Schleifeattempt - 1-mal und gib ihn zurück.
wait_seconds gibt nur eine Zahl zurück. Es wartet nicht. Das Warten übernimmt eine sleep-Funktion, die der Aufrufer übergibt, dieselbe Idee wie die injizierte Zeit in Python in der Praxis: In einem echten Lauf übergibt der Aufrufer time.sleep, und ein Test übergibt eine Funktion, die die Zahl notiert und sofort zurückkehrt. Die Tests für Lektion 7 bis 9 laufen in einem Bruchteil einer Sekunde, obwohl der Code, den sie prüfen, sekundenlang warten würde.
Ausführen
Die gezählten Szenarien scheitern eine feste Anzahl von Malen. rate-limit:2 beantwortet die ersten beiden Anfragen mit einem 429 und jede weitere Anfrage mit der normalen Antwort. server-error:2 macht dasselbe mit 500. Das geskriptete Modell zählt pro Sandbox, deshalb ruft die Demonstration zuerst reset_scripted_model() auf, das die Zähler auf null zurücksetzt. Ohne das würde ein zweiter Lauf von python chapter9_demo.py die Zähler schon aufgebraucht vorfinden.
Wenn wait_seconds geschrieben ist, führe python chapter9_demo.py aus. retry_demo aus der Demonstration verwendet dein should_retry und wait_seconds und wartet mit time.sleep:
rate-limit:2 with retries:
Attempt 1: RateLimitError
Waiting 1.0 s
Attempt 2: RateLimitError
Waiting 1.0 s
Attempt 3: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
server-error:2 with retries:
Attempt 1: InternalServerError
Waiting 1 s
Attempt 2: InternalServerError
Waiting 2 s
Attempt 3: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
A reply under length:
Run stopped at the next function to build: check_finished is built in Lesson 5.
Die Wartezeiten beim 429 sind 1.0, eine Fließkommazahl, weil sie über float aus dem Header kamen. Der 500 hat kein Retry-After, also verdoppeln sich seine Wartezeiten ab BASE_WAIT: 1, dann 2. Dieser Teil der Demonstration dauert etwa fünf Sekunden, weil die Wartezeiten echt sind.
Ein 503 kommt mit dem Header Retry-After: Wed, 21 Oct 2026 07:28:00 GMT an. Was gibt wait_seconds(error, 2) zurück?
Warum gibt wait_seconds eine Zahl zurück, statt selbst time.sleep aufzurufen?
Aufgabe
Schreib in reliable.py die Funktion wait_seconds(error, attempt), wobei attempt ab 1 zählt. In dieser Reihenfolge:
Wenn
erroreinopenai.APIStatusErrorist, liesvalue = error.response.headers.get("retry-after").Wenn
valuenichtNoneist, wandle es innerhalb vontrymitfloatum und ignoriere es beiValueError.Wenn diese Zahl null oder größer ist, gib sie zurück.
Andernfalls beginne mit
wait = BASE_WAIT, verdopple den Wertattempt - 1-mal mit einerfor-Schleife überrange(attempt - 1)und gib ihn zurück.
Verwende BASE_WAIT mit seinem Namen und ruf nicht time.sleep auf: Diese Funktion gibt nur die Zahl zurück. Führe python chapter9_demo.py aus, um die erneuten Versuche warten zu sehen, und prüfe dann deine Arbeit.