Als er iets misgaat · oefening
Probeer alleen opnieuw wat een nieuwe poging waard is
Les 1 deelde fouten in drie groepen in. Alleen de eerste, “opnieuw proberen na een wachttijd”, is een nieuwe poging waard. Deze les maakt van die groep een functie die een programma iets kan vragen: moet ik het bij deze fout opnieuw proberen?
Vragen op type
De openai-client werpt voor elk soort fout een andere klasse op, en die klassen vormen een stamboom. isinstance controleert een klasse en elke klasse daaronder, dus één aanroep kan naar meerdere tegelijk vragen als je een tuple van klassen meegeeft:
print(isinstance(3, (int, float)))
print(isinstance("3", (int, float)))
De vier klassen die een nieuwe poging waard zijn:
| Klasse | Wat het betekent |
|---|---|
openai.RateLimitError | 429, voorlopig te veel requests |
openai.APITimeoutError | geen antwoord binnen de time-out van de client |
openai.APIConnectionError | de verbinding mislukte voordat er een antwoord was |
openai.InternalServerError | elke status vanaf 500: 500, 502, 503 en 504 komen allemaal als deze klasse binnen |
APITimeoutError is al een soort APIConnectionError, dus de tuple zou ook zonder werken. Hij staat er toch in, zodat een lezer ziet dat er aan time-outs is gedacht.
Al het andere krijgt False: BadRequestError (400), NotFoundError (404) en PermissionDeniedError (403), en fouten die helemaal niet van de client komen, zoals een ValueError, een ValidationError van pydantic of een StreamBroken.
Niet te breed
openai.APIError is de klasse boven elke fout die de client via het netwerk opwerpt, en openai.APIStatusError is de klasse boven elke fout die met een status kwam. Beide zijn verleidelijk, omdat één naam veel dekt. Beide zijn te breed: een 400 is ook een APIStatusError, en als je die opnieuw probeert, verstuur je hetzelfde kapotte request nog een keer. Noem de vier klassen bij naam.
Twee randgevallen
Een stream die breekt terwijl je hem leest, werpt ook APIConnectionError op. should_retry zegt daar True op, en dat klopt voor een hele aanroep die mislukte voordat er tekst was getoond. Een stream die al tekst heeft afgedrukt, wordt anders behandeld: de meegeleverde stream_once maakt van die breuk een StreamBroken, die should_retry afwijst, en les 9 legt de regel uit.
De eigen regel van de client voor nieuwe pogingen, die hoofdstuk 5 uitzette met max_retries=0, probeert ook 408 (request-time-out) en 409 (conflict) opnieuw. De cursus laat die twee weg; geen van beide komt van llm-api.
Voer het uit
show_failures() geeft de fouten terug die het tegenkwam. Voer python chapter9_demo.py uit als je should_retry hebt geschreven. De demonstratie vraagt het voor elk ervan:
Worth another attempt?
RateLimitError: True
InternalServerError: True
InternalServerError: True
APITimeoutError: True
NotFoundError: False
BadRequestError: False
rate-limit:2 with retries:
Attempt 1: RateLimitError
Run stopped at the next function to build: wait_seconds is built in Lesson 4.
De twee regels met InternalServerError zijn de 500 en de 504. Het afgekapte antwoord staat niet in de lijst, omdat het niets opwierp.
Het volgende deel van de demonstratie is retry_demo in chapter9_demo.py, dat een request tot drie keer probeert. Het stopte bij de eerste fout, omdat het moet weten hoe lang het moet wachten. Dat is les 4.
Waarom schrijf je should_retry niet als return isinstance(error, openai.APIStatusError)?
Een stream breekt als er al twee zinnen op het scherm staan. Wat krijgt should_retry, en wat antwoordt het?
Opdracht
Schrijf in reliable.py should_retry(error). Geef True terug als error een openai.RateLimitError, openai.APITimeoutError, openai.APIConnectionError of openai.InternalServerError is, met één isinstance-aanroep met een tuple van die vier klassen. Geef False terug voor elke andere fout, waaronder een 400, 404 of 403, een gewone ValueError, een ValidationError van pydantic en een StreamBroken. Voer python chapter9_demo.py uit om het oordeel voor elke fout uit les 1 te zien, en controleer daarna je werk.