Als er iets misgaat · oefening
Wacht langer tussen pogingen
De demonstratie van les 3 stopte bij de eerste fout, omdat niets zei hoe lang er gewacht moest worden. Meteen opnieuw proberen is een slechte keuze: een overbelaste dienst die net faalde, is een milliseconde later nog steeds overbelast, en als veel programma’s tegelijk opnieuw proberen, houden ze hem overbelast. Een programma hoort tussen pogingen te wachten, en elke keer dat het mislukt langer.
Wachttijden die verdubbelen
De gebruikelijke regel heet backoff: wacht BASE_WAIT seconden na de eerste mislukking, twee keer zo lang na de tweede, vier keer zo lang na de derde, enzovoort. Met BASE_WAIT = 1 zijn de wachttijden 1, 2, 4 en 8 seconden.
attempt telt de pogingen vanaf 1, dus als poging attempt mislukt, is de wachttijd BASE_WAIT, attempt - 1 keer verdubbeld. Een lus doet het verdubbelen:
BASE_WAIT = 1
for attempt in range(1, 5):
wait = BASE_WAIT
for step in range(attempt - 1):
wait = wait * 2
print(attempt, wait)
Echte systemen voegen ook wat willekeur aan elke wachttijd toe, zodat veel programma’s die op hetzelfde moment mislukten niet allemaal op hetzelfde moment terugkomen. De cursus laat dat weg, zodat tests de exacte wachttijden kunnen controleren.
Als de dienst zegt hoe lang
Een 429 vertelt je meestal hoe lang je moet wachten. De response bevat een Retry-After-header, en het gescripte model stuurt Retry-After: 1. Staat er een bruikbare waarde, gebruik die dan in plaats van te gokken.
Alleen een fout die met een response kwam, heeft headers. Dat zijn de openai.APIStatusError-klassen, zoals RateLimitError en InternalServerError. Hun attribuut response is de HTTP-response, en error.response.headers.get("retry-after") leest de header, of geeft None als die er niet is. Het opzoeken let niet op hoofdletters of kleine letters, dus "Retry-After" werkt ook. Een time-out of verbindingsfout heeft helemaal geen response, dus controleer eerst het type.
De header is tekst, en niet altijd een getal. De HTTP-regels staan ook een datum toe, zoals Wed, 21 Oct 2026 07:28:00 GMT, en een kapotte server kan van alles sturen. float maakt van "1" 1.0 en van "2.5" 2.5, en werpt ValueError op voor alles wat geen getal is. Hij werpt ook TypeError op voor None, en daarom wordt None gecontroleerd voordat float wordt aangeroepen.
wait_seconds
wait_seconds(error, attempt) volgt deze stappen, in deze volgorde:
Als
erroreenopenai.APIStatusErroris, lees jevalue = error.response.headers.get("retry-after").Als
valuenietNoneis, zet je het om metfloatbinnentry. BijValueErroris de header een datum of onzin, dus negeer je hem.Als het getal nul of meer is, geef je het terug. Een negatief getal is geen bruikbare wachttijd.
Anders verdubbel je: begin met
wait = BASE_WAIT, verdubbel hetattempt - 1keer in een lus en geef het terug.
wait_seconds geeft alleen een getal terug. Hij wacht niet. Het wachten doet een sleep-functie die de aanroeper meegeeft, hetzelfde idee als de geïnjecteerde tijd in Python in de praktijk: bij een echte run geeft de aanroeper time.sleep mee, en een test geeft een functie mee die het getal noteert en meteen terugkeert. De tests voor les 7 tot en met 9 draaien in een fractie van een seconde, hoewel de code die ze controleren seconden zou wachten.
Voer het uit
De getelde scenario’s mislukken een vast aantal keer. rate-limit:2 beantwoordt de eerste twee requests met een 429, en elk request daarna met het normale antwoord. server-error:2 doet hetzelfde met 500. Het gescripte model telt per sandbox, dus de demonstratie roept eerst reset_scripted_model() aan, dat de tellers weer op nul zet. Zonder dat zou een tweede keer python chapter9_demo.py de tellers al opgebruikt vinden.
Voer python chapter9_demo.py uit als je wait_seconds hebt geschreven. retry_demo in de demonstratie gebruikt jouw should_retry en wait_seconds, en wacht met time.sleep:
rate-limit:2 with retries:
Attempt 1: RateLimitError
Waiting 1.0 s
Attempt 2: RateLimitError
Waiting 1.0 s
Attempt 3: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
server-error:2 with retries:
Attempt 1: InternalServerError
Waiting 1 s
Attempt 2: InternalServerError
Waiting 2 s
Attempt 3: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
A reply under length:
Run stopped at the next function to build: check_finished is built in Lesson 5.
De wachttijden bij de 429 zijn 1.0, een float, omdat ze via float uit de header kwamen. De 500 heeft geen Retry-After, dus de wachttijden verdubbelen vanaf BASE_WAIT: 1, daarna 2. Dit deel van de demonstratie duurt ongeveer vijf seconden, omdat de wachttijden echt zijn.
Een 503 komt binnen met de header Retry-After: Wed, 21 Oct 2026 07:28:00 GMT. Wat geeft wait_seconds(error, 2) terug?
Waarom geeft wait_seconds een getal terug in plaats van zelf time.sleep aan te roepen?
Opdracht
Schrijf in reliable.py wait_seconds(error, attempt), waarbij attempt vanaf 1 telt. In deze volgorde:
Als
erroreenopenai.APIStatusErroris, lees jevalue = error.response.headers.get("retry-after").Als
valuenietNoneis, zet je het om metfloatbinnentry, en negeer je het bijValueError.Als dat getal nul of meer is, geef je het terug.
Begin anders met
wait = BASE_WAIT, verdubbel hetattempt - 1keer met eenfor-lus overrange(attempt - 1)en geef het terug.
Gebruik BASE_WAIT bij naam en roep time.sleep niet aan: deze functie geeft alleen het getal terug. Voer python chapter9_demo.py uit om de nieuwe pogingen te zien wachten, en controleer daarna je werk.