0%

Ein LLM-Aufruf ist eine HTTP-Anfrage · Übung

Die Antwort aus dem Antwortdokument lesen

Das Antwortdokument aus Lektion 4 enthält die Antwort, aber ein Programm, das das ganze Dokument ausgibt, ist wenig hilfreich. Diese Lektion holt den einen String heraus, den du normalerweise willst: den Text, den das Modell geschrieben hat.

Steig zur Antwort hinab

Hier ist das Dokument noch einmal, gekürzt auf die Teile, die zur Antwort führen:

response = {
    "model": "pl-scripted",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "A list is an ordered, changeable collection of values.",
            },
            "finish_reason": "stop",
        }
    ],
}

Lies es von außen nach innen, einen Schritt pro Ebene:

choices = response["choices"]
first = choices[0]
message = first["message"]
print(message["content"])

choices ist eine Liste, weil manche APIs auf eine Anfrage mehrere alternative Antworten zurückgeben können. Dieser Kurs fragt immer nach einer, daher steht die Antwort in choices[0]. Darin ist message die Antwort des Modells in Form einer Chat-Nachricht mit der Rolle assistant, und content ist ihr Text.

Sobald jeder Schritt klar ist, kannst du denselben Weg in einem Ausdruck schreiben:

print(response["choices"][0]["message"]["content"])

Warum die Antwort endete

Neben message steht finish_reason, das sagt, warum das Modell aufgehört hat zu schreiben:

  • "stop": Das Modell hat seine Antwort beendet.

  • "length": Das Modell ist an sein Token-Limit gestoßen und wurde mitten in der Antwort abgeschnitten.

Eine abgeschnittene Antwort ist unvollständig und kann sogar leer sein. Manche Live-Modelle denken ein Problem in Tokens durch, die du nie siehst, bevor sie anfangen, die Antwort zu schreiben. Verbraucht dieses Nachdenken das ganze Limit, hat die Antwort den finish_reason "length" und einen content, der leer oder null ist. pl-scripted ignoriert das Limit, daher begegnet dir das nur bei einem Live-Modell. Kapitel 9 behandelt abgeschnittene Antworten richtig. Merk dir vorerst, dass der gelesene Text womöglich nicht die ganze Antwort ist und dass du das an finish_reason erkennst.

Wenn es gar keinen Text gibt

content ist nicht immer ein String. In Kapitel 6 sendet ein Modell, das eine deiner Funktionen aufrufen will, eine Antwort, deren content in JSON null ist, was in Python als None ankommt. Code, der einen String erwartet, etwa print(len(answer)), schlägt dann fehl.

Deshalb gibt answer_text(response) den content-String unverändert zurück oder "", wenn content den Wert None hat. Dein Code kann die Antwort dann immer als Text behandeln, und ein leerer String bedeutet weiterhin „das Modell hat nichts geschrieben“.

Verwende für den Weg einfache Indizierung. Kommt ein Dokument ganz ohne choices an, löst der Zugriff KeyError aus. Lass das zu. Ein Dokument dieser Form ist keine Modellantwort, und ein Fehler, der den fehlenden Schlüssel nennt, lässt sich leichter untersuchen als eine leere Antwort, die das Problem verdeckt.

Führe python llm_basics.py aus, wenn du fertig bist. Die Demonstration gibt jetzt zusätzlich aus:

Answer: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
Finish reason: stop

Die Antwort eines Live-Modells hat den finish_reason "length" und den content "". Was ist passiert?

Aufgabe

Ersetze in llm_basics.py den unfertigen Rumpf von answer_text(response).

Gib response["choices"][0]["message"]["content"] unverändert zurück, wenn es ein String ist, und "", wenn es None ist. Fange keine Fehler ab: Ein Dokument ohne choices soll KeyError auslösen.

Führe python llm_basics.py aus, um die Antwort für sich zu sehen, und prüfe dann deine Arbeit.