Mee naar huis · oefening
Richt de client op een echte aanbieder
De sleutel komt nu uit de omgeving, maar het adres en het model staan nog vast in het bestand: BASE_URL = COURSE_BASE_URL en MODEL = COURSE_MODEL. Om het programma ergens anders te draaien, zou je het moeten aanpassen, en het daarna weer terugzetten om het hier te draaien. Deze les neemt die laatste reden weg om aan de code te komen.
Drie instellingen
OpenRouter, Ollama, LM Studio en de meeste gehoste aanbieders spreken dezelfde chat completions-API die deze cursus sinds hoofdstuk 1 gebruikt. Het request heeft dezelfde model en messages, het antwoord heeft dezelfde choices en usage, en de openai-client werkt met allemaal. Om de studieassistent naar een andere aanbieder te verhuizen, heb je drie instellingen nodig:
de basis-URL, het adres waar de client requests naartoe stuurt;
de modelnaam, die elke aanbieder op zijn eigen manier schrijft;
de sleutel, die les 1 al uit de omgeving leest.
Lees alle drie uit de omgeving, met de waarden van de cursus als standaard, en hetzelfde bestand draait in de sandbox zonder dat er iets is ingesteld en thuis met drie ingestelde variabelen.
Lees de constanten uit de omgeving
Pas de twee constanten bovenaan study_assistant.py aan:
BASE_URL = os.environ.get("STUDY_ASSISTANT_BASE_URL", COURSE_BASE_URL)
MODEL = os.environ.get("STUDY_ASSISTANT_MODEL", COURSE_MODEL)
Deze regels draaien één keer, wanneer de module wordt geïmporteerd, en dat is wanneer het programma start. Een variabele moet dus zijn ingesteld voordat het programma start. Hem in een andere
Verder hoeft er niets te veranderen om het model in elk request te krijgen. use_settings uit hoofdstuk 11 zet al reliable.MODEL = MODEL aan het begin van elke run, dus de stappen van de agent, de quiz en het gesprek sturen allemaal deze MODEL mee.
Meld een ontbrekende sleutel
Met het adres van een aanbieder komt de kans op een ontbrekende sleutel, en read_api_key uit les 1 werpt daarvoor een ValueError op binnen build_client. Laat main die fout afvangen, alleen rond de aanroep van build_client():
if client is None:
try:
client = build_client()
except ValueError as error:
print(f"Error: {error}", file=sys.stderr)
return 1
Dat geeft één regel op de standaardfout die begint met Error: , net als elke andere fout, en exitcode 1, voordat er een request is verstuurd. Houd de try alleen rond build_client(). Een bredere try zou een ValueError verbergen die op een bug ergens anders wijst, en run_command zet de eigen fouten van het commando al om in exitcodes. Een aanroeper die zijn eigen client meegeeft, zoals elke test en controle doet, bouwt er nooit een en heeft geen sleutel nodig.
Echte aanbieders
Voor OpenRouter zijn de drie waarden:
export STUDY_ASSISTANT_API_KEY=sk-or-...
export STUDY_ASSISTANT_BASE_URL=https://openrouter.ai/api/v1
export STUDY_ASSISTANT_MODEL=openai/gpt-oss-20b
openai/gpt-oss-20b is het model achter pl-live van deze cursus. Het ondersteunt tools en strikte JSON-schema’s, die ask en quiz nodig hebben. In PowerShell is elke regel $env: met de naam, en dan = "..." met de waarde.
Voor Ollama, dat modellen op je eigen computer draait, is het adres http://localhost:11434/v1, mag de sleutel elke tekst zijn, zoals ollama (het controleert er geen), en is het model er een die je hebt binnengehaald. Kleine lokale modellen gaan vaak slecht om met tools, dus ask kan stoppen zonder antwoord of zijn bronvermeldingscontrole niet halen, terwijl quiz en chat wel werken.
Welke je ook kiest, een echt model laat zien wat het cursusmodel verborg. De antwoorden veranderen van run tot run, zoals hoofdstuk 10 liet zien, dus ask heeft misschien zijn corrigerende nieuwe poging nodig, of faalt waar het gescripte model dat nooit deed. En de tokenaantallen zijn van het model zelf, niet de vaste regel van het gescripte model: tekens gedeeld door vier.
Voer het uit
Voer python stages.py uit. Het blok van les 2 drukt de instellingen af die deze run gebruikt:
Lesson 2: the active settings
BASE_URL: http://llm-api:8080/v1
MODEL: pl-scripted
STUDY_ASSISTANT_API_KEY: not set
To change them, set STUDY_ASSISTANT_BASE_URL, STUDY_ASSISTANT_MODEL and
STUDY_ASSISTANT_API_KEY before the program starts. On this site, leave them unset.
Er is niets ingesteld, dus het programma gebruikt het cursusmodel, precies zoals eerst. stages.py stopt nog steeds bij het werk van les 4.
Stel nu in de terminal voor één commando het adres van een aanbieder in, zonder sleutel:
STUDY_ASSISTANT_BASE_URL=https://openrouter.ai/api/v1 python study_assistant.py ask "How do I make an independent copy of a list?"
echo $?
Error: Set the STUDY_ASSISTANT_API_KEY environment variable to your API key for https://openrouter.ai/api/v1.
1
Met ook een verzonnen sleutel erbij komt het programma tot aan het request, en eindigt het na zijn nieuwe pogingen met Error: Connection error. en exitcode 1, omdat de sandbox geen internet heeft. Echte aanbieders zijn voor thuis, in les 5.
Probeer het live
Deze stap is optioneel. Het eigen live model van de cursus is een echte aanbieder achter llm-api, dus je kunt het programma er met één variabele en zonder sleutel op richten:
STUDY_ASSISTANT_MODEL=pl-live python study_assistant.py ask "How do I make an independent copy of a list?"
Meestal kost dat twee of drie van je dagelijkse live requests, één per agentstap, en hooguit zeven als het model blijft zoeken of zijn antwoord de corrigerende nieuwe poging nodig heeft. Alles wat je stuurt verlaat Python Land, dus stuur niets privés. Heeft je account geen live toegang, dan sluit het programma af met 1 en Error: Error code: 403 - ..., de weigering van het live model op één regel. Een 429 betekent dat je voorlopig een limiet hebt bereikt. Een lees-time-out is ook een normale uitkomst: een live model kan langer nadenken dan de time-out van deze cursus.
Je voert export STUDY_ASSISTANT_MODEL=pl-live uit in de ene terminal en start daarna python study_assistant.py ask "..." in een tweede terminal. Welk model stuurt de run mee?
Waarom houdt main zijn try alleen rond de aanroep van build_client()?
Opdracht
In study_assistant.py:
Verander de twee constanten in
BASE_URL = os.environ.get("STUDY_ASSISTANT_BASE_URL", COURSE_BASE_URL)enMODEL = os.environ.get("STUDY_ASSISTANT_MODEL", COURSE_MODEL).Roep in
main, wanneerclientgelijk is aanNone,build_client()aan binnen eentry. Druk bij eenValueErrorf"Error: {error}"af naarsys.stderren geef1terug voordat het commando draait. Houd detryalleen rondbuild_client()en laat de rest vanmainzoals het is.
Voer python stages.py uit om de actieve instellingen te zien, probeer de fout over de ontbrekende sleutel met python study_assistant.py en controleer daarna je werk.