Ein LLM-Aufruf ist eine HTTP-Anfrage · Abschlussprojekt
Abschlussprojekt: Projekt: Eine Frage über die Kommandozeile stellen
Du hast vier getestete Funktionen in llm_basics.py: send_body sendet eine Anfrage, ask_model macht aus einer Frage eine Chat-Anfrage, answer_text liest die Antwort, und call_cost bepreist den Aufruf. Dieses Projekt stellt sie hinter einen Befehl, den du im
$ python ask.py "What is a Python list?"
A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
Tokens: 6 in, 42 out. Cost at live prices: $0.00000564
Jeder Teil davon ist etwas, das du schon gebaut oder benutzt hast. Die Arbeit besteht darin, die Teile so zusammenzusetzen, dass sich der Befehl gut verhält, auch wenn der Modelldienst nicht antwortet.
Was ask.py tut
Lege ask.py neben llm_basics.py an und importiere daraus, was du brauchst. Die Datei definiert eine Funktion, main(argv=None, *, session=None):
Werte die
mit argparseaus. Es gibt ein Positionsargument,question. Wenn duargvanparse_args(argv)übergibst, kann eine Prüfungmain(["What is a Python list?"])direkt aufrufen, während ein echter Lauf mitargv=Nonedie Argumente aus dem Terminal liest, wie in Python in der Praxis.Rufe
ask_modelmit der Frage auf und reiche dabeisession=sessionweiter, damit eine Prüfung einen Fake übergeben kann.Gib die Antwort mit
answer_textaus.Gib eine weitere Zeile mit den Token-Anzahlen aus dem
usageder Antwort und den Kosten auscall_costzuLIVE_PRICESaus, genau in dieser Form, mit den Kosten auf acht Nachkommastellen:Tokens: 6 in, 42 out. Cost at live prices: $0.00000564Gib
0zurück.
Das Modul endet mit der Zeile, die main nur dann ausführt, wenn die Datei als Programm gestartet wird:
if __name__ == "__main__":
raise SystemExit(main())
raise SystemExit(main()) macht aus der Zahl, die main zurückgibt, den Exit-Code des Programms. Wenn ein anderes Modul oder eine Prüfung ask importiert, wird nichts ausgeführt, weil __name__ dann "ask" ist.
Wenn die Anfrage fehlschlägt
Der Modelldienst kann ausgefallen oder langsam sein oder mit einem Fehlerstatus antworten. All das zeigt sich als Ausnahme von requests: ein Verbindungsfehler, ein Timeout oder der HTTPError, den raise_for_status() in send_body auslöst. Sie haben eine gemeinsame Elternklasse, requests.RequestException, daher fängt eine einzige except-Klausel um den Aufruf von ask_model alle ab.
Wenn das passiert, gib statt eines Tracebacks eine Zeile auf der Standardfehlerausgabe aus:
Model request failed: <the error>
ask.py braucht import requests für die Ausnahmeklasse und import sys für print(..., file=sys.stderr), das auf die Standardfehlerausgabe schreibt. Gib dann 1 zurück. Fange nur requests.RequestException ab, und nur um die Anfrage herum. Ein KeyError oder TypeError aus einem Fehler in deinem eigenen Code soll das Programm weiterhin mit seinem Traceback beenden, denn ihn zu verstecken würde den Fehler viel schwerer auffindbar machen.
Ausführen
Führe den Befehl im Terminal mit einer Frage in Anführungszeichen aus, damit die Shell sie als ein Argument übergibt:
python ask.py "What is a Python list?"
python ask.py "What does len() return?"
python ask.py "Tell me a joke."
Die ersten beiden sind vorbereitete Fragen. Die dritte bekommt das geskriptete Echo, daher ist die Antwort vier Zeilen lang und die Token-Anzahlen ändern sich entsprechend. Führe python ask.py ohne Frage aus, und argparse gibt einen Hinweis zur Verwendung aus und beendet sich mit Status 2, bevor eine Anfrage gesendet wird.
Wenn du nicht weiterkommst, bitte Monty um einen Hinweis zu einem einzelnen Schritt, etwa wie du die Token-Anzahlen aus usage liest, ohne nach der ganzen Datei zu fragen.
Warum fängt main requests.RequestException ab und nicht Exception?
Aufgabe
Lege ask.py mit main(argv=None, *, session=None) an:
Werte mit
argparseein Positionsargument,question, ausargvaus.Rufe
ask_model(question, session=session)ausllm_basicsauf.Gib die Antwort aus
answer_textaus und dannTokens: {I} in, {O} out. Cost at live prices: ${cost:.8f}, wobeiIundOdieprompt_tokensundcompletion_tokensder Antwort sind undcostdas Ergebnis voncall_costfür ihrusagezuLIVE_PRICESist. Gib0zurück.Wenn die Anfrage
requests.RequestExceptionauslöst, gibModel request failed: {error}auf der Standardfehlerausgabe aus und gib1zurück. Fange nichts anderes ab.Beende die Datei mit
if __name__ == "__main__": raise SystemExit(main()), damit beim Import vonasknichts ausgeführt wird.
Probiere im python ask.py "What is a Python list?" aus und prüfe dann deine Arbeit.