0%

Ein LLM-Aufruf ist eine HTTP-Anfrage · Übung

Eine Anfrage kann einen Body mitführen

Ein Modellaufruf ist eine HTTP-Anfrage. Der Dienst heißt llm-api, seine Basis-URL ist http://llm-api:8080/v1, und du sprichst mit ihm über requests, genauso wie du in Python in der Praxis mit der Übungs-API gesprochen hast. Öffne llm_basics.py im Projekteditor. Die Datei enthält die Konstanten, die du brauchst, und fünf unfertige Funktionen. In dieser Lektion baust du die ersten beiden.

Fang mit einer Anfrage an, die du schon kennst

Der Dienst kann dir sagen, welche Modelle er anbietet. Ein GET an /models liefert dieses Dokument:

{"object": "list", "data": [{"id": "pl-scripted", "object": "model", "owned_by": "python-land"}, {"id": "pl-live", "object": "model", "owned_by": "python-land"}]}

Die Modellnamen sind die id-Werte in der Liste data. list_models() ruft dieses Dokument ab und gibt die IDs der Reihe nach zurück, für dieses Dokument also ["pl-scripted", "pl-live"]:

def list_models(*, session=None):
    http = requests if session is None else session
    response = http.get(f"{BASE_URL}/models", timeout=TIMEOUT)
    response.raise_for_status()
    ids = []
    for model in response.json()["data"]:
        ids.append(model["id"])
    return ids

Jede Zeile hier hast du schon einmal geschrieben. session=None ist die Nahtstelle aus Kapitel 11 von Python in der Praxis: Normalerweise verwendet die Funktion requests, und eine Prüfung kann ihr eine Fake-Session übergeben, die die Anfrage aufzeichnet, statt sie zu senden. timeout=TIMEOUT begrenzt die Wartezeit mit der Konstante oben in der Datei, (3.05, 10): bis zu 3.05 Sekunden für den Verbindungsaufbau und bis zu 10 Sekunden für jedes Warten, während die Antwort eintrifft. raise_for_status() macht aus einem Fehlerstatus eine Ausnahme, bevor irgendwelches JSON gelesen wird.

Jede Funktion in diesem Kurs, die mit llm-api spricht, folgt diesem Muster. Es lohnt sich also, es einmal abzutippen, statt es einzufügen.

Ein POST führt einen Body mit

Ein GET steckt seine ganze Frage in die URL. Das funktioniert für „Welche Modelle gibt es?“, aber ein Modellaufruf muss dem Modell einen Prompt senden, oft einen langen, dazu Einstellungen. Das kommt in den Body der Anfrage: Daten, die nach URL und Headern mit der Anfrage gesendet werden. Eine Anfrage, die einen zu verarbeitenden Body mitführt, ist meist ein POST.

Der Chat-Endpunkt /chat/completions nimmt einen JSON-Body an. JSON ist das Textformat, das du in Python in der Praxis mit .json() dekodiert hast; hier sendest du es in die andere Richtung. Ein kleiner Body sieht als Python-Dictionary so aus:

body = {"model": "pl-scripted", "messages": [{"role": "user", "content": "Hello"}]}

requests wandelt ein Dictionary für dich in einen JSON-Body um, wenn du es als json= übergibst:

response = http.post(f"{BASE_URL}/chat/completions", json=body, timeout=TIMEOUT)

json=body erledigt zwei Aufgaben: Es wandelt das Dictionary in JSON-Text um, und es fügt einen Header Content-Type: application/json hinzu, damit der Dienst weiß, wie er ihn lesen soll. Die Statusprüfung und .json() funktionieren genau wie nach einem GET.

send_body(body) ist dieser POST, verpackt im selben Muster wie list_models: Wähle requests oder die übergebene Session, sende den Body per POST mit json=body und timeout=TIMEOUT, löse bei einem Fehlerstatus eine Ausnahme aus und gib die dekodierte JSON-Antwort unverändert zurück.

Sieh nach, was das Modell empfangen hat

Wenn pl-scripted einen Prompt nicht erkennt, antwortet es mit einem Echo: einem kurzen Bericht darüber, was es empfangen hat. Hello gehört nicht zu seinen vorbereiteten Fragen, daher bekommt der Body oben ein Echo zurück.

Du führst deinen Code in einem aus, wie in Python in der Praxis. Öffne den Tab Shell neben Project und wähle Start Bash terminal. Gib python llm_basics.py ein und drücke Enter. Das Terminal läuft weiter, bis du es schließt, daher kannst du nach jeder Änderung denselben Befehl erneut ausführen; die Pfeiltaste nach oben holt ihn zurück. Check my work ist eine Schaltfläche in der Werkzeugleiste des Shell-Tabs.

Sobald beide Funktionen funktionieren, führe python llm_basics.py aus. Die Demonstration am Ende der Datei listet die Modelle auf, gibt den gesendeten Body aus und dann die dekodierte Antwort:

Models: ['pl-scripted', 'pl-live']
Sent: {"model": "pl-scripted", "messages": [{"role": "user", "content": "Hello"}]}
Received:
{
  "id": "chatcmpl-scripted-91b01cf4fa744410ab443153",
  "object": "chat.completion",
  "created": 1794134874,
  "model": "pl-scripted",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "[pl-scripted echo] No scripted reply matches this prompt, so here is what I received.\nMessages: 1\nSystem message: (none)\nLast user message: Hello"
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 2,
    "completion_tokens": 37,
    "total_tokens": 39
  }
}

Deine Werte für id und created werden andere sein; sie ändern sich bei jedem Aufruf. Such die Zeile, die mit "content" beginnt. Jedes \n darin ist ein Zeilenumbruch, das Echo sagt also: eine Nachricht, keine Systemnachricht, und die letzte User-Nachricht war Hello. Das passt zu der Nachricht, die du gesendet hast: eine Nachricht, keine Systemnachricht und der Text Hello. Lektion 5 zeigt dir, wie du diesen Text mit Python herausholst. Merk dir vorerst, dass du prüfen kannst, was beim Modell angekommen ist, ohne zu raten.

Nach der Ausgabe siehst du eine Zeile mit Run stopped at the next function to build. Das ist so gewollt: Die Demonstration ruft jede Funktion auf, die du bisher gebaut hast, und hält bei der ersten an, die noch fehlt. Du siehst sie in den nächsten Lektionen wieder, jedes Mal mit einer späteren Funktion.

Wenn der Befehl stattdessen Could not reach llm-api ausgibt, ist der Dienst nicht erreichbar oder startet gerade neu. Versuch es in ein paar Minuten erneut. Für die Prüfung deiner Arbeit wird er nicht gebraucht.

Was macht json=body in http.post(url, json=body, timeout=TIMEOUT)?

Aufgabe

Ersetze in llm_basics.py die unfertigen Rümpfe von list_models und send_body.

  • list_models(*, session=None) sendet ein GET an f"{BASE_URL}/models" mit timeout=TIMEOUT, ruft raise_for_status() auf und gibt die id jedes Eintrags in der Liste data des Dokuments der Reihe nach zurück.

  • send_body(body, *, session=None) sendet ein POST an f"{BASE_URL}/chat/completions" mit json=body und timeout=TIMEOUT, ruft raise_for_status() auf und gibt die dekodierte JSON-Antwort unverändert zurück.

Beide verwenden requests, wenn session den Wert None hat, und sonst die übergebene Session. Führe in der Shell python llm_basics.py aus, um das Echo zu sehen, und prüfe dann deine Arbeit.