0%

Ein LLM-Aufruf ist eine HTTP-Anfrage · Übung

Eine Chat-Anfrage senden

send_body sendet jedes Dictionary, das du ihm gibst. Das Modell versteht allerdings nur eine Form von Dictionary: eine Chat-Anfrage. Diese Lektion baut diese Form aus einer Frage, damit der Rest deines Codes dem Modell eine Frage stellen kann, ohne Dictionaries von Hand zusammenzusetzen.

Die kleinste Chat-Anfrage

Der Body einer Chat-Anfrage braucht zwei Schlüssel:

  • model: welches Modell antworten soll. In diesem Kurs ist das pl-scripted, gespeichert in der Konstante MODEL oben in llm_basics.py.

  • messages: eine Liste von Nachrichten. Jede Nachricht ist ein Dictionary mit einer role, die sagt, wer spricht, und einem content, dem eigentlichen Text.

Für eine Frage sendest du eine Nachricht mit der Rolle user:

question = "What is a Python list?"
body = {
    "model": "pl-scripted",
    "messages": [
        {"role": "user", "content": question},
    ],
}
print(body)

Der Dienst macht aus diesen Nachrichten den einen Textblock, den das Modell fortsetzt, und die Rollen sagen dem Modell, wer was gesagt hat. messages ist auch dann eine Liste, wenn sie nur eine Nachricht enthält, denn ein Gespräch ist eine Liste von Runden. Kapitel 2 fügt weitere Nachrichten und zwei weitere Rollen hinzu. Vorerst ist eine user-Nachricht eine vollständige Anfrage.

Sende die Frage so, wie sie übergeben wurde. Wenn du Leerzeichen entfernst, die Groß- und Kleinschreibung änderst oder Wörter hinzufügst, änderst du, was das Modell liest.

Baue ask_model

ask_model(question, *, session=None) baut diesen Body, mit MODEL als Modellnamen, und gibt send_body(body, session=session) zurück. Das Weiterreichen von session=session ist wichtig: Wenn eine Prüfung ask_model eine Fake-Session übergibt, muss send_body denselben Fake bekommen, sonst ginge die Anfrage über das echte Netzwerk hinaus.

Die Funktion prüft selbst keinen Status und dekodiert nichts. send_body erledigt bereits beides, und genau deshalb baust du darauf auf, statt einen zweiten POST zu schreiben.

Sieh dir die ganze Antwort an

Führe python llm_basics.py erneut aus. Nach der Ausgabe von Lektion 3 ruft die Demonstration ask_model("What is a Python list?") auf und gibt das ganze Antwortdokument aus:

Response document:
{
  "id": "chatcmpl-scripted-6048c79fc77f43ee8740c369",
  "object": "chat.completion",
  "created": 1794134874,
  "model": "pl-scripted",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 6,
    "completion_tokens": 42,
    "total_tokens": 48
  }
}

What is a Python list? gehört zu den vorbereiteten Fragen des geskripteten Modells, daher bekommst du diesmal eine echte Antwort statt eines Echos. SCRIPTED_MODEL.md in deinem Projekt listet die Fragen auf, die dieses Kapitel verwendet. Die Antwort steckt ein paar Ebenen tief, neben einem finish_reason und einem Abschnitt usage. Die nächsten beiden Lektionen lesen diese Teile.

Hier ist der ganze Aufruf in einem Bild. Die Anfrage oben führt den Body mit, den ask_model gebaut hat. Die Antwort darunter enthält die Rückmeldung des Modells, und die eigentliche Antwort ist der hervorgehobene content, in message, im ersten Eintrag von choices.

Ein Modellaufruf ist ein einziger HTTP-Hin-und-Rückweg: ask_model sendet einen JSON-Body mit Modell und Nachrichten per POST an /chat/completions, und die Antwort kommt in choices, message, content zurück.

Live ausprobieren

Dieser Schritt ist optional. Gib im python ein, um Python zu starten, und sende dann dieselbe Frage an pl-live:

import llm_basics
llm_basics.MODEL = "pl-live"
response = llm_basics.ask_model("What is a Python list?")
print(response)

Wenn dein Konto Live-Zugang hat, enthält die Antwort die Antwort eines echten Modells, anders formuliert als die geskriptete und noch einmal anders, wenn du es zweimal ausführst. Ein Fehler 403 bedeutet, dass dein Konto keinen Live-Zugang hat, und ein 429 bedeutet, dass du dein Live-Kontingent vorerst aufgebraucht hast. Auch ein Lese-Timeout kann vorkommen: Ein Live-Modell kann länger nachdenken als die Lesegrenze von 10 Sekunden. Alle drei sind normale Ergebnisse, und keines davon beeinflusst deinen Fortschritt.

Warum ist messages eine Liste, wenn du nur eine Frage sendest?

Aufgabe

Ersetze in llm_basics.py den unfertigen Rumpf von ask_model(question, *, session=None).

Baue einen Body mit genau zwei Schlüsseln: "model" mit dem Wert MODEL und "messages" mit einer Liste, die eine Nachricht enthält, {"role": "user", "content": question}, mit unveränderter Frage. Gib send_body(body, session=session) zurück.

Führe python llm_basics.py aus, um das vollständige Antwortdokument zu sehen, und prüfe dann deine Arbeit.