Ab nach Hause · Übung
Den Client auf einen echten Anbieter richten
Der Schlüssel kommt jetzt aus der Umgebung, aber die Adresse und das Modell stehen noch fest in der Datei: BASE_URL = COURSE_BASE_URL und MODEL = COURSE_MODEL. Um das Programm woanders auszuführen, müsstest du es ändern und dann wieder zurückändern, um es hier auszuführen. Diese Lektion beseitigt diesen letzten Grund, den Code anzufassen.
Drei Einstellungen
OpenRouter, Ollama, LM Studio und die meisten gehosteten Anbieter sprechen dieselbe Chat-Completions-API, die dieser Kurs seit Kapitel 1 verwendet. Die Anfrage hat dieselben model und messages, die Antwort hat dieselben choices und usage, und der openai-Client funktioniert mit allen. Um den Lernassistenten zu einem anderen Anbieter umzuziehen, braucht es drei Einstellungen:
die Basis-URL, die Adresse, an die der Client Anfragen schickt;
den Modellnamen, den jeder Anbieter auf seine eigene Art schreibt;
den Schlüssel, den Lektion 1 schon aus der Umgebung liest.
Lies alle drei aus der Umgebung, mit den Werten des Kurses als Standardwerten, und dieselbe Datei läuft in der Sandbox ohne gesetzte Variablen und zu Hause mit drei gesetzten Variablen.
Lies die Konstanten aus der Umgebung
Ändere die beiden Konstanten oben in study_assistant.py:
BASE_URL = os.environ.get("STUDY_ASSISTANT_BASE_URL", COURSE_BASE_URL)
MODEL = os.environ.get("STUDY_ASSISTANT_MODEL", COURSE_MODEL)
Diese Zeilen laufen einmal, wenn das Modul importiert wird, also wenn das Programm startet. Eine Variable muss deshalb gesetzt sein, bevor das Programm startet. Sie in einem anderen
Sonst muss nichts geändert werden, damit das Modell bei jeder Anfrage ankommt. use_settings aus Kapitel 11 setzt schon zu Beginn jedes Laufs reliable.MODEL = MODEL, also schicken die Schritte des Agenten, das Quiz und das Gespräch alle dieses MODEL.
Melde einen fehlenden Schlüssel
Mit der Adresse eines Anbieters kommt die Möglichkeit eines fehlenden Schlüssels, und read_api_key aus Lektion 1 löst dafür innerhalb von build_client ValueError aus. Lass main diesen Fehler nur um den Aufruf von build_client() herum abfangen:
if client is None:
try:
client = build_client()
except ValueError as error:
print(f"Error: {error}", file=sys.stderr)
return 1
Das ist eine Zeile auf dem Standardfehlerkanal, die wie jeder andere Fehlschlag mit Error: beginnt, und Exit-Code 1, bevor eine Anfrage gesendet wird. Lass das try allein um build_client(). Ein breiteres try würde einen ValueError verdecken, der auf einen Bug woanders hinweist, und run_command macht aus den eigenen Fehlern des Befehls schon Exit-Codes. Ein Aufrufer, der seinen eigenen client übergibt, wie es jeder Test und jede Prüfung tut, erstellt nie einen und braucht keinen Schlüssel.
Echte Anbieter
Für OpenRouter sind die drei Werte:
export STUDY_ASSISTANT_API_KEY=sk-or-...
export STUDY_ASSISTANT_BASE_URL=https://openrouter.ai/api/v1
export STUDY_ASSISTANT_MODEL=openai/gpt-oss-20b
openai/gpt-oss-20b ist das Modell hinter pl-live aus diesem Kurs. Es unterstützt Tools und strikte JSON-Schemas, die ask und quiz brauchen. In PowerShell ist jede Zeile $env: mit dem Namen, dann = "..." mit dem Wert.
Für Ollama, das Modelle auf deinem eigenen Computer ausführt, ist die Adresse http://localhost:11434/v1, der Schlüssel kann ein beliebiger Text wie ollama sein (es prüft keinen), und das Modell ist eines, das du heruntergeladen hast. Kleine lokale Modelle kommen oft schlecht mit Tools zurecht, sodass ask ohne Antwort stoppen oder seine Prüfung der Quellenangaben nicht bestehen kann, während quiz und chat funktionieren.
Welchen du auch wählst, ein echtes Modell zeigt, was das Kursmodell verborgen hat. Seine Antworten ändern sich von Lauf zu Lauf, wie Kapitel 10 gezeigt hat, also braucht ask vielleicht seinen korrigierenden erneuten Versuch oder scheitert, wo das geskriptete Modell nie gescheitert ist. Und seine Token-Zahlen sind seine eigenen, nicht die geskriptete Regel von Zeichen geteilt durch vier.
Ausführen
Führe python stages.py aus. Der Block für Lektion 2 gibt die Einstellungen aus, die dieser Lauf verwendet:
Lesson 2: the active settings
BASE_URL: http://llm-api:8080/v1
MODEL: pl-scripted
STUDY_ASSISTANT_API_KEY: not set
To change them, set STUDY_ASSISTANT_BASE_URL, STUDY_ASSISTANT_MODEL and
STUDY_ASSISTANT_API_KEY before the program starts. On this site, leave them unset.
Nichts ist gesetzt, also verwendet das Programm das Kursmodell, genau wie vorher. stages.py stoppt weiterhin bei der Aufgabe aus Lektion 4.
Setze jetzt im Terminal die Adresse eines Anbieters für einen einzelnen Befehl, ohne Schlüssel:
STUDY_ASSISTANT_BASE_URL=https://openrouter.ai/api/v1 python study_assistant.py ask "How do I make an independent copy of a list?"
echo $?
Error: Set the STUDY_ASSISTANT_API_KEY environment variable to your API key for https://openrouter.ai/api/v1.
1
Mit einem zusätzlichen erfundenen Schlüssel kommt das Programm bis zur Anfrage und endet nach seinen erneuten Versuchen mit Error: Connection error. und Exit-Code 1, weil die Sandbox kein Internet hat. Echte Anbieter sind etwas für zu Hause, in Lektion 5.
Live ausprobieren
Dieser Schritt ist optional. Das eigene Live-Modell des Kurses ist ein echter Anbieter hinter llm-api, also kannst du das Programm mit einer Variable und ohne Schlüssel darauf richten:
STUDY_ASSISTANT_MODEL=pl-live python study_assistant.py ask "How do I make an independent copy of a list?"
Das verbraucht meist zwei oder drei deiner täglichen Live-Anfragen, eine pro Agentenschritt, und höchstens sieben, wenn das Modell weitersucht oder seine Antwort den korrigierenden erneuten Versuch braucht. Alles, was du schickst, verlässt Python Land, also schick nichts Privates. Wenn dein Konto keinen Live-Zugang hat, beendet sich das Programm mit 1 und Error: Error code: 403 - ..., der Ablehnung des Live-Modells in einer Zeile. Ein 429 bedeutet, dass du vorerst ein Limit erreicht hast. Auch ein Lese-Timeout ist ein normales Ergebnis: Ein Live-Modell kann länger nachdenken, als der Timeout dieses Kurses erlaubt.
Du führst export STUDY_ASSISTANT_MODEL=pl-live in einem Terminal aus und startest dann python study_assistant.py ask "..." in einem zweiten Terminal. Welches Modell schickt der Lauf?
Warum lässt main sein try allein um den Aufruf von build_client()?
Aufgabe
In study_assistant.py:
Ändere die beiden Konstanten zu
BASE_URL = os.environ.get("STUDY_ASSISTANT_BASE_URL", COURSE_BASE_URL)undMODEL = os.environ.get("STUDY_ASSISTANT_MODEL", COURSE_MODEL).Rufe in
main, wennclientgleichNoneist,build_client()innerhalb vontryauf. Gib beiValueErrorf"Error: {error}"aufsys.stderraus und gib1zurück, bevor der Befehl ausgeführt wird. Lass dastrynur umbuild_client()und den Rest vonmain, wie er ist.
Führe python stages.py aus, um die aktiven Einstellungen zu sehen, probiere den Fehler für den fehlenden Schlüssel mit python study_assistant.py aus und prüfe dann deine Arbeit.