Den OpenAI-Client verwenden · Abschlussprojekt
Abschlussprojekt: Projekt: Den Lernassistenten auf den Client umziehen
Der Lernassistent hat zwei Features, die mit dem Modell sprechen: den Streaming-Chat aus Kapitel 3 und das Quiz aus Kapitel 4. Beide verwenden noch requests. Dieses Projekt zieht sie auf den Client um, mit den Funktionen, die du in den Lektionen 2 bis 4 gebaut hast:
client = make_client()
ask("What is a Python list?", client=client)
reply, history = chat_turn([], "Explain Python lists in detail.", client=client) # streams
quiz = make_quiz(note_text, client=client) # a QuizSet, through the parse helper
ask ist schon fertig. Die anderen beiden sind kurz, weil die schwierigen Teile in stream_chat und parse_quiz_reply stecken.
chat_turn
chat_turn aus Kapitel 3 hat die Nachrichten vorbereitet, die Antwort mit open_stream und stream_reply gestreamt und sie mit einem neuen Verlauf zurückgegeben. Nur der mittlere Teil ändert sich:
| Schritt | Kapitel 3 | Dieses Projekt |
|---|---|---|
| Vorbereiten | prepare_messages(history, question) | dasselbe |
| Streamen | stream_reply(open_stream(...)) | stream_chat(messages, client=client) |
| Zurückgeben | (reply, add_turn(messages[:-1], question, reply)) | dasselbe |
chat_turn(history, question, *, client):
messages = prepare_messages(history, question).reply = stream_chat(messages, client=client). Das gibt die Antwort aus, während sie ankommt.Gib
(reply, add_turn(messages[:-1], question, reply))zurück.
chat_turn gibt selbst nichts aus und fängt nichts ab. Wenn der Stream abbricht, geht der StreamBroken aus stream_chat direkt an den Aufrufer, es wird kein Verlauf zurückgegeben, und die halbe Antwort gelangt nie in einen, genau wie in Kapitel 3.
make_quiz
make_quiz aus Kapitel 4 hat die Quiz-Anfrage gesendet, die Antwort validiert und bei einem ValidationError einen erneuten Versuch gesendet. Das Senden und Validieren übernimmt jetzt die Parse-Hilfsfunktion, also behält make_quiz nur den erneuten Versuch.
make_quiz(note_text, *, client):
messages = quiz_messages(note_text).Gib
parse_quiz_reply(messages, client=client)zurück.Wenn das
ValidationErrorauslöst, baue eine Feedback-Nachricht,{"role": "user", "content": f"{INVALID_PREFIX} " + "; ".join(error_lines(error))}rufe
parse_quiz_replynoch einmal mitmessages + [feedback]auf und gib dessen Quiz zurück.
error_lines ist die Funktion aus Kapitel 4, importiert aus structured.py, also liest sich das Feedback wie in Kapitel 4: eine kurze Zeile pro Problem, etwa questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer.
Drei Dinge werden nicht erneut versucht und erreichen den Aufrufer unverändert:
Ein zweiter
ValidationError. Ein erneuter Versuch, wie in Kapitel 4: Wenn das Modell zweimal scheitert, muss die Anfrage korrigiert werden, und jeder erneute Versuch kostet Tokens.Eine Ablehnung.
parse_quiz_replylöst dafür einen einfachenValueErroraus. Fange den Fehler über seinen Namen ab,except ValidationError as error:.ValidationErrorist eine Art vonValueError, also würdeexcept ValueError:auch die Ablehnung abfangen. Sie würde dannerror_lineserreichen, das mitAttributeErrorscheitert, weil ein einfacherValueErrorkeine Methodeerrors()hat, und der Aufrufer bekäme diesen Absturz statt der Erklärung des Modells. Umgekehrt gilt das nicht:except ValidationErrorfängt keinen einfachenValueErrorab.Fehler vom Client, etwa
openai.InternalServerError. Die sind Sache von Kapitel 9.
Was dieser erneute Versuch nicht kann
Der erneute Versuch in Kapitel 4 hat dem Modell seine eigene ungültige Antwort als Assistant-Nachricht gezeigt und dann gesagt, was daran falsch war. Dieser kann das nicht: parse löst den Fehler aus, bevor es etwas zurückgibt, also erreicht der Text der Antwort deinen Code nie. Ein Live-Modell bekommt die Beschwerde ohne die Antwort, auf die sie sich bezieht, und kann mit dem Feedback dadurch schwerer etwas anfangen.
Der Tausch lohnt sich meistens. Mit striktem json_schema sorgt ein Anbieter, der das unterstützt, dafür, dass die Ausgabe des Modells dem Schema folgt, also ist eine ungültige Antwort selten. Der erneute Versuch schützt vor allem vor Modellen und Anbietern ohne strikte Unterstützung. Das geskriptete Modell zeigt den Weg über den erneuten Versuch trotzdem, denn auf den Prompt give me broken json antwortet es einmal ungültig, egal mit welchem Anfrageformat, und es entscheidet danach, wie die neueste User-Nachricht beginnt, nicht danach, was davor kam.
Ausführen
Führe python client_calls.py aus. Die Demonstration führt einen Chat mit zwei Runden, erstellt ein Quiz für die Notiz über Listen und dann ein Quiz, dessen erste Antwort ungültig ist. Für dieses gibt sie die letzte Nachricht der letzten Anfrage aus, die deine Sandbox gesendet hat, mit last_request() aus Lektion 4, damit du das Feedback siehst, das dein make_quiz hinzugefügt hat:
The study chat on the client:
You: What does len() return?
len() returns the number of items in a sequence or collection, such as the characters in a string or the elements in a list.
You: Explain Python lists in detail.
A list is an ordered collection that can hold any mix of values. You create one with square brackets, such as scores = [90, 72, 85]. Each item has a position, starting at 0, so scores[0] is 90 and scores[-1] is the last item. Slicing takes a range: scores[0:2] gives a new list with the first two items. Lists are mutable, which means you can change them after creating them: scores.append(60) adds an item to the end, scores.remove(72) removes the first matching value, and scores[1] = 75 replaces an item in place. Because a list is changed in place, two names that refer to the same list both see the change. Use list.copy() when you need an independent list. len(scores) tells you how many items it holds.
The history now holds 5 messages.
A quiz from make_quiz:
3 questions. The first: For scores = [90, 72, 85], what is scores[-1]?
A quiz whose first reply is invalid:
The second request ended with: Your last reply was invalid: questions.0.answer_index: Input should be a valid integer, unable to parse string as an integer
1 question: What does len() return?
Die Chat-Antworten kamen von stream_chat innerhalb deines chat_turn, während sie ankamen. Der Verlauf enthält die Systemnachricht für den Lern-Chat und zwei vollständige Runden.
Die Demonstration zeigt die Normalfälle und einen erneuten Versuch. Bevor du deine Arbeit prüfst, denke durch, was sie nicht zeigt: einen Stream, der mittendrin abbricht, eine zweite ungültige Antwort und eine Ablehnung. Wenn du bei einem davon nicht weiterkommst, bitte Monty um einen Hinweis zu genau diesem Fall, ohne nach der ganzen Funktion zu fragen.
Wie es weitergeht
Der Lernassistent spricht jetzt nur noch über den Client mit dem Modell, und jede Funktion, die das Modell aufruft, bekommt den Client als Argument. Kapitel 6 verwendet denselben Client, damit das Modell dein Programm bitten kann, eine Funktion auszuführen, etwa um eine Notiz nachzuschlagen.
make_quiz fängt ValueError statt ValidationError ab. Das Modell lehnt es ab, das Quiz zu schreiben. Was passiert?
Der erneute Versuch in Kapitel 4 hat die ungültige Antwort vor dem Feedback als Assistant-Nachricht zurückgesendet. Warum sendet der erneute Versuch in diesem Projekt nur das Feedback?
Aufgabe
Ersetze in client_calls.py die unfertigen Rümpfe von chat_turn(history, question, *, client) und make_quiz(note_text, *, client).
chat_turn:
messages = prepare_messages(history, question), dannreply = stream_chat(messages, client=client).Gib
(reply, add_turn(messages[:-1], question, reply))zurück.Gib selbst nichts aus und fange nichts ab: Ein
StreamBrokenerreicht den Aufrufer, und es wird kein Verlauf zurückgegeben.
make_quiz:
messages = quiz_messages(note_text), und gibparse_quiz_reply(messages, client=client)zurück.Bei einem
ValidationError, abgefangen über diesen Namen, rufeparse_quiz_replynoch einmal mitmessages + [{"role": "user", "content": f"{INVALID_PREFIX} " + "; ".join(error_lines(error))}]auf und gib dessen Quiz zurück.Ein zweiter
ValidationError, derValueErroreiner Ablehnung und Fehler vom Client erreichen alle den Aufrufer, ohne weiteren Aufruf.
Führe python client_calls.py aus, um den Chat und beide Quizze zu sehen, und prüfe dann deine Arbeit.