Een LLM-aanroep is een HTTP-request · oefening
Lees het antwoord uit de response
Het responsedocument uit les 4 bevat het antwoord, maar aan een programma dat het hele document afdrukt, heb je weinig. In deze les haal je de ene string eruit die je meestal wilt: de tekst die het model schreef.
Loop omlaag naar het antwoord
Hier is het document nog een keer, ingekort tot de delen die naar het antwoord leiden:
response = {
"model": "pl-scripted",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "A list is an ordered, changeable collection of values.",
},
"finish_reason": "stop",
}
],
}
Lees het van buiten naar binnen, één stap per niveau:
choices = response["choices"]
first = choices[0]
message = first["message"]
print(message["content"])
choices is een lijst omdat sommige API’s meerdere alternatieve antwoorden op één request kunnen teruggeven. Deze cursus vraagt er altijd één, dus het antwoord staat in choices[0]. Daarin is message het antwoord van het model, geschreven als chatbericht met de rol assistant, en content is de tekst ervan.
Als elke stap duidelijk is, kun je dezelfde route in één expressie schrijven:
print(response["choices"][0]["message"]["content"])
Waarom het antwoord stopte
Naast message staat finish_reason, dat zegt waarom het model stopte met schrijven:
"stop": het model maakte zijn antwoord af."length": het model liep tegen zijn tokenlimiet aan en werd midden in het antwoord afgekapt.
Een afgekapt antwoord is onvolledig en kan zelfs leeg zijn. Sommige live modellen denken een probleem eerst door in tokens die je nooit ziet, voordat ze het antwoord beginnen te schrijven. Als dat denken de hele limiet opmaakt, heeft de response finish_reason "length" en een content die leeg is of null. pl-scripted negeert de limiet, dus dit kom je alleen bij een live model tegen. Hoofdstuk 9 handelt afgekapte antwoorden goed af. Onthoud voor nu dat de tekst die je leest misschien niet het hele antwoord is, en dat je dat aan finish_reason ziet.
Als er helemaal geen tekst is
content is niet altijd een string. In hoofdstuk 6 stuurt een model dat een van je functies wil aanroepen een antwoord waarvan de content in JSON null is, wat in Python binnenkomt als None. Code die een string verwacht, zoals print(len(answer)), loopt dan vast.
Daarom geeft answer_text(response) de content-string ongewijzigd terug, of "" als content gelijk is aan None. Je code kan het antwoord dan altijd als tekst behandelen, en een lege string betekent nog steeds “het model schreef niets”.
Gebruik gewone indexering voor de route. Als er een document binnenkomt zonder choices, geeft het opzoeken een KeyError. Laat dat gebeuren. Een document met die vorm is geen modelantwoord, en een fout die de ontbrekende sleutel noemt, is makkelijker te onderzoeken dan een leeg antwoord dat het probleem verbergt.
Voer python llm_basics.py uit als je klaar bent. De demonstratie drukt nu ook dit af:
Answer: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
Finish reason: stop
De response van een live model heeft finish_reason "length" en content "". Wat is er gebeurd?
Opdracht
Vervang in llm_basics.py de onafgemaakte body van answer_text(response).
Geef response["choices"][0]["message"]["content"] ongewijzigd terug als het een string is, en "" als het None is. Vang geen fouten af: een document zonder choices moet een KeyError geven.
Voer python llm_basics.py uit om alleen het antwoord te zien en controleer daarna je werk.