0%

Als er iets misgaat · oefening

Wacht langer tussen pogingen

De demonstratie van les 3 stopte bij de eerste fout, omdat niets zei hoe lang er gewacht moest worden. Meteen opnieuw proberen is een slechte keuze: een overbelaste dienst die net faalde, is een milliseconde later nog steeds overbelast, en als veel programma’s tegelijk opnieuw proberen, houden ze hem overbelast. Een programma hoort tussen pogingen te wachten, en elke keer dat het mislukt langer.

Wachttijden die verdubbelen

De gebruikelijke regel heet backoff: wacht BASE_WAIT seconden na de eerste mislukking, twee keer zo lang na de tweede, vier keer zo lang na de derde, enzovoort. Met BASE_WAIT = 1 zijn de wachttijden 1, 2, 4 en 8 seconden.

attempt telt de pogingen vanaf 1, dus als poging attempt mislukt, is de wachttijd BASE_WAIT, attempt - 1 keer verdubbeld. Een lus doet het verdubbelen:

BASE_WAIT = 1
for attempt in range(1, 5):
    wait = BASE_WAIT
    for step in range(attempt - 1):
        wait = wait * 2
    print(attempt, wait)

Echte systemen voegen ook wat willekeur aan elke wachttijd toe, zodat veel programma’s die op hetzelfde moment mislukten niet allemaal op hetzelfde moment terugkomen. De cursus laat dat weg, zodat tests de exacte wachttijden kunnen controleren.

Als de dienst zegt hoe lang

Een 429 vertelt je meestal hoe lang je moet wachten. De response bevat een Retry-After-header, en het gescripte model stuurt Retry-After: 1. Staat er een bruikbare waarde, gebruik die dan in plaats van te gokken.

Alleen een fout die met een response kwam, heeft headers. Dat zijn de openai.APIStatusError-klassen, zoals RateLimitError en InternalServerError. Hun attribuut response is de HTTP-response, en error.response.headers.get("retry-after") leest de header, of geeft None als die er niet is. Het opzoeken let niet op hoofdletters of kleine letters, dus "Retry-After" werkt ook. Een time-out of verbindingsfout heeft helemaal geen response, dus controleer eerst het type.

De header is tekst, en niet altijd een getal. De HTTP-regels staan ook een datum toe, zoals Wed, 21 Oct 2026 07:28:00 GMT, en een kapotte server kan van alles sturen. float maakt van "1" 1.0 en van "2.5" 2.5, en werpt ValueError op voor alles wat geen getal is. Hij werpt ook TypeError op voor None, en daarom wordt None gecontroleerd voordat float wordt aangeroepen.

wait_seconds

wait_seconds(error, attempt) volgt deze stappen, in deze volgorde:

  1. Als error een openai.APIStatusError is, lees je value = error.response.headers.get("retry-after").

  2. Als value niet None is, zet je het om met float binnen try. Bij ValueError is de header een datum of onzin, dus negeer je hem.

  3. Als het getal nul of meer is, geef je het terug. Een negatief getal is geen bruikbare wachttijd.

  4. Anders verdubbel je: begin met wait = BASE_WAIT, verdubbel het attempt - 1 keer in een lus en geef het terug.

wait_seconds geeft alleen een getal terug. Hij wacht niet. Het wachten doet een sleep-functie die de aanroeper meegeeft, hetzelfde idee als de geïnjecteerde tijd in Python in de praktijk: bij een echte run geeft de aanroeper time.sleep mee, en een test geeft een functie mee die het getal noteert en meteen terugkeert. De tests voor les 7 tot en met 9 draaien in een fractie van een seconde, hoewel de code die ze controleren seconden zou wachten.

Voer het uit

De getelde scenario’s mislukken een vast aantal keer. rate-limit:2 beantwoordt de eerste twee requests met een 429, en elk request daarna met het normale antwoord. server-error:2 doet hetzelfde met 500. Het gescripte model telt per sandbox, dus de demonstratie roept eerst reset_scripted_model() aan, dat de tellers weer op nul zet. Zonder dat zou een tweede keer python chapter9_demo.py de tellers al opgebruikt vinden.

Voer python chapter9_demo.py uit als je wait_seconds hebt geschreven. retry_demo in de demonstratie gebruikt jouw should_retry en wait_seconds, en wacht met time.sleep:

rate-limit:2 with retries:
  Attempt 1: RateLimitError
  Waiting 1.0 s
  Attempt 2: RateLimitError
  Waiting 1.0 s
  Attempt 3: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
server-error:2 with retries:
  Attempt 1: InternalServerError
  Waiting 1 s
  Attempt 2: InternalServerError
  Waiting 2 s
  Attempt 3: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
A reply under length:
Run stopped at the next function to build: check_finished is built in Lesson 5.

De wachttijden bij de 429 zijn 1.0, een float, omdat ze via float uit de header kwamen. De 500 heeft geen Retry-After, dus de wachttijden verdubbelen vanaf BASE_WAIT: 1, daarna 2. Dit deel van de demonstratie duurt ongeveer vijf seconden, omdat de wachttijden echt zijn.

Een 503 komt binnen met de header Retry-After: Wed, 21 Oct 2026 07:28:00 GMT. Wat geeft wait_seconds(error, 2) terug?

Waarom geeft wait_seconds een getal terug in plaats van zelf time.sleep aan te roepen?

Opdracht

Schrijf in reliable.py wait_seconds(error, attempt), waarbij attempt vanaf 1 telt. In deze volgorde:

  1. Als error een openai.APIStatusError is, lees je value = error.response.headers.get("retry-after").

  2. Als value niet None is, zet je het om met float binnen try, en negeer je het bij ValueError.

  3. Als dat getal nul of meer is, geef je het terug.

  4. Begin anders met wait = BASE_WAIT, verdubbel het attempt - 1 keer met een for-lus over range(attempt - 1) en geef het terug.

Gebruik BASE_WAIT bij naam en roep time.sleep niet aan: deze functie geeft alleen het getal terug. Voer python chapter9_demo.py uit om de nieuwe pogingen te zien wachten, en controleer daarna je werk.