0%

Ab nach Hause · Übung

Den Client auf einen echten Anbieter richten

Der Schlüssel kommt jetzt aus der Umgebung, aber die Adresse und das Modell stehen noch fest in der Datei: BASE_URL = COURSE_BASE_URL und MODEL = COURSE_MODEL. Um das Programm woanders auszuführen, müsstest du es ändern und dann wieder zurückändern, um es hier auszuführen. Diese Lektion beseitigt diesen letzten Grund, den Code anzufassen.

Drei Einstellungen

OpenRouter, Ollama, LM Studio und die meisten gehosteten Anbieter sprechen dieselbe Chat-Completions-API, die dieser Kurs seit Kapitel 1 verwendet. Die Anfrage hat dieselben model und messages, die Antwort hat dieselben choices und usage, und der openai-Client funktioniert mit allen. Um den Lernassistenten zu einem anderen Anbieter umzuziehen, braucht es drei Einstellungen:

  • die Basis-URL, die Adresse, an die der Client Anfragen schickt;

  • den Modellnamen, den jeder Anbieter auf seine eigene Art schreibt;

  • den Schlüssel, den Lektion 1 schon aus der Umgebung liest.

Lies alle drei aus der Umgebung, mit den Werten des Kurses als Standardwerten, und dieselbe Datei läuft in der Sandbox ohne gesetzte Variablen und zu Hause mit drei gesetzten Variablen.

Lies die Konstanten aus der Umgebung

Ändere die beiden Konstanten oben in study_assistant.py:

BASE_URL = os.environ.get("STUDY_ASSISTANT_BASE_URL", COURSE_BASE_URL)
MODEL = os.environ.get("STUDY_ASSISTANT_MODEL", COURSE_MODEL)

Diese Zeilen laufen einmal, wenn das Modul importiert wird, also wenn das Programm startet. Eine Variable muss deshalb gesetzt sein, bevor das Programm startet. Sie in einem anderen zu setzen oder nachdem das Programm gestartet ist, ändert für diesen Lauf nichts.

Sonst muss nichts geändert werden, damit das Modell bei jeder Anfrage ankommt. use_settings aus Kapitel 11 setzt schon zu Beginn jedes Laufs reliable.MODEL = MODEL, also schicken die Schritte des Agenten, das Quiz und das Gespräch alle dieses MODEL.

Melde einen fehlenden Schlüssel

Mit der Adresse eines Anbieters kommt die Möglichkeit eines fehlenden Schlüssels, und read_api_key aus Lektion 1 löst dafür innerhalb von build_client ValueError aus. Lass main diesen Fehler nur um den Aufruf von build_client() herum abfangen:

if client is None:
    try:
        client = build_client()
    except ValueError as error:
        print(f"Error: {error}", file=sys.stderr)
        return 1

Das ist eine Zeile auf dem Standardfehlerkanal, die wie jeder andere Fehlschlag mit Error: beginnt, und Exit-Code 1, bevor eine Anfrage gesendet wird. Lass das try allein um build_client(). Ein breiteres try würde einen ValueError verdecken, der auf einen Bug woanders hinweist, und run_command macht aus den eigenen Fehlern des Befehls schon Exit-Codes. Ein Aufrufer, der seinen eigenen client übergibt, wie es jeder Test und jede Prüfung tut, erstellt nie einen und braucht keinen Schlüssel.

Echte Anbieter

Für OpenRouter sind die drei Werte:

export STUDY_ASSISTANT_API_KEY=sk-or-...
export STUDY_ASSISTANT_BASE_URL=https://openrouter.ai/api/v1
export STUDY_ASSISTANT_MODEL=openai/gpt-oss-20b

openai/gpt-oss-20b ist das Modell hinter pl-live aus diesem Kurs. Es unterstützt Tools und strikte JSON-Schemas, die ask und quiz brauchen. In PowerShell ist jede Zeile $env: mit dem Namen, dann = "..." mit dem Wert.

Für Ollama, das Modelle auf deinem eigenen Computer ausführt, ist die Adresse http://localhost:11434/v1, der Schlüssel kann ein beliebiger Text wie ollama sein (es prüft keinen), und das Modell ist eines, das du heruntergeladen hast. Kleine lokale Modelle kommen oft schlecht mit Tools zurecht, sodass ask ohne Antwort stoppen oder seine Prüfung der Quellenangaben nicht bestehen kann, während quiz und chat funktionieren.

Welchen du auch wählst, ein echtes Modell zeigt, was das Kursmodell verborgen hat. Seine Antworten ändern sich von Lauf zu Lauf, wie Kapitel 10 gezeigt hat, also braucht ask vielleicht seinen korrigierenden erneuten Versuch oder scheitert, wo das geskriptete Modell nie gescheitert ist. Und seine Token-Zahlen sind seine eigenen, nicht die geskriptete Regel von Zeichen geteilt durch vier.

Ausführen

Führe python stages.py aus. Der Block für Lektion 2 gibt die Einstellungen aus, die dieser Lauf verwendet:

Lesson 2: the active settings
  BASE_URL: http://llm-api:8080/v1
  MODEL: pl-scripted
  STUDY_ASSISTANT_API_KEY: not set
  To change them, set STUDY_ASSISTANT_BASE_URL, STUDY_ASSISTANT_MODEL and
  STUDY_ASSISTANT_API_KEY before the program starts. On this site, leave them unset.

Nichts ist gesetzt, also verwendet das Programm das Kursmodell, genau wie vorher. stages.py stoppt weiterhin bei der Aufgabe aus Lektion 4.

Setze jetzt im Terminal die Adresse eines Anbieters für einen einzelnen Befehl, ohne Schlüssel:

STUDY_ASSISTANT_BASE_URL=https://openrouter.ai/api/v1 python study_assistant.py ask "How do I make an independent copy of a list?"
echo $?
Error: Set the STUDY_ASSISTANT_API_KEY environment variable to your API key for https://openrouter.ai/api/v1.
1

Mit einem zusätzlichen erfundenen Schlüssel kommt das Programm bis zur Anfrage und endet nach seinen erneuten Versuchen mit Error: Connection error. und Exit-Code 1, weil die Sandbox kein Internet hat. Echte Anbieter sind etwas für zu Hause, in Lektion 5.

Live ausprobieren

Dieser Schritt ist optional. Das eigene Live-Modell des Kurses ist ein echter Anbieter hinter llm-api, also kannst du das Programm mit einer Variable und ohne Schlüssel darauf richten:

STUDY_ASSISTANT_MODEL=pl-live python study_assistant.py ask "How do I make an independent copy of a list?"

Das verbraucht meist zwei oder drei deiner täglichen Live-Anfragen, eine pro Agentenschritt, und höchstens sieben, wenn das Modell weitersucht oder seine Antwort den korrigierenden erneuten Versuch braucht. Alles, was du schickst, verlässt Python Land, also schick nichts Privates. Wenn dein Konto keinen Live-Zugang hat, beendet sich das Programm mit 1 und Error: Error code: 403 - ..., der Ablehnung des Live-Modells in einer Zeile. Ein 429 bedeutet, dass du vorerst ein Limit erreicht hast. Auch ein Lese-Timeout ist ein normales Ergebnis: Ein Live-Modell kann länger nachdenken, als der Timeout dieses Kurses erlaubt.

Du führst export STUDY_ASSISTANT_MODEL=pl-live in einem Terminal aus und startest dann python study_assistant.py ask "..." in einem zweiten Terminal. Welches Modell schickt der Lauf?

Warum lässt main sein try allein um den Aufruf von build_client()?

Aufgabe

In study_assistant.py:

  1. Ändere die beiden Konstanten zu BASE_URL = os.environ.get("STUDY_ASSISTANT_BASE_URL", COURSE_BASE_URL) und MODEL = os.environ.get("STUDY_ASSISTANT_MODEL", COURSE_MODEL).

  2. Rufe in main, wenn client gleich None ist, build_client() innerhalb von try auf. Gib bei ValueError f"Error: {error}" auf sys.stderr aus und gib 1 zurück, bevor der Befehl ausgeführt wird. Lass das try nur um build_client() und den Rest von main, wie er ist.

Führe python stages.py aus, um die aktiven Einstellungen zu sehen, probiere den Fehler für den fehlenden Schlüssel mit python study_assistant.py aus und prüfe dann deine Arbeit.