0%

Tools · Abschlussprojekt

Abschlussprojekt: Projekt: Den Assistenten eine Notiz nachschlagen lassen

Die Lektionen 2 bis 7 haben jedes Teil einer Tool-Runde gebaut, und die Demonstration hat sie bisher von Hand zusammengesetzt. Dieses Projekt packt die Runde in eine Funktion, die der Lernassistent mit einer Frage aufrufen kann:

client = make_client()
print(answer_with_tools("What do the notes say about copying a list?", client=client))
The lists note says that two names can refer to the same list, so a change through one shows through the other. Use scores.copy() or list(scores) for an independent copy. (03-lists)

Die Bausteine, die du hast

SchrittDein Code
Die Tools beschreibenTOOL_DESCRIPTIONS (Lektion 2)
Die Aufrufe aus einer Antwort lesenread_tool_calls(response) (Lektion 3)
Ein Tool finden und ausführenTOOLS und run_tool(call, tools) (Lektionen 4 und 6)
Die Anforderung des Modells festhaltenassistant_turn(calls) (Lektion 5)
Jeden Aufruf ausführen und die Ergebnisse verpackentool_messages(calls, tools) (Lektion 7)

answer_with_tools fügt die beiden Anfragen drumherum hinzu und entscheidet, was zurückgegeben wird.

Baue answer_with_tools

answer_with_tools(question, *, client) in tools.py:

  1. Beginne das Gespräch: messages = [{"role": "system", "content": TOOLS_SYSTEM}, {"role": "user", "content": question}]. TOOLS_SYSTEM kommt aus prompts.py und weist das Modell an, Dinge nachzuschlagen und die verwendete Notiz zu nennen. Das geskriptete Modell beantwortet diese Fragen mit und ohne diese Anweisung gleich; ein Live-Modell liest sie.

  2. Sende es: client.chat.completions.create(model=MODEL, messages=messages, tools=TOOL_DESCRIPTIONS).

  3. Lies die Aufrufe mit read_tool_calls. Wenn es keine gibt, hat das Modell direkt geantwortet: Gib den content der Antwort zurück, oder "", wenn er None ist.

  4. Andernfalls füge assistant_turn(calls) und danach die Nachrichten aus tool_messages(calls, TOOLS) zum Gespräch hinzu. Du kannst eine neue Liste bauen oder an messages anhängen; beides ist in Ordnung. Sende es erneut mit create, mit demselben model und denselben tools.

  5. Wenn diese zweite Antwort wieder Tools anfordert, gib NEEDS_MORE_LOOKUPS zurück, die feste Meldung oben in tools.py. Andernfalls gib ihren content zurück, oder "", wenn er None ist.

Verwende den Client, den du bekommst; baue innerhalb der Funktion keinen mit make_client(). Verwende die TOOLS und TOOL_DESCRIPTIONS des Moduls über ihren Namen, wie oben. Die Prüfungen ersetzen beide durch eigene Tools und einen Ordner mit Notizen, die du nicht gesehen hast, und sie geben die Antworten des Modells per Skript vor, einschließlich Aufrufen von Tools, die es nicht gibt, und Argumenten, die kein JSON sind. Dein run_tool macht daraus schon Fehlerergebnisse, also braucht answer_with_tools kein eigenes try.

Warum nur eine Runde

Schritt 5 gibt nach einer Tool-Runde auf. Ein Modell kann mehr brauchen: Ein Live-Modell könnte zuerst list_notes aufrufen, um eine ID zu finden, und erst dann read_note anfordern. answer_with_tools kann nicht wissen, wie viele Runden eine Frage braucht, also hält es vorerst an und sagt das, statt zu raten. Kapitel 7 ersetzt Schritt 5 durch eine Schleife, die weiterläuft, mit eigenen Grenzen.

Ausführen

Führe python tools.py aus. Die Demonstration stellt dem Lernassistenten zwei Fragen, eine, die eine Notiz braucht, und eine, die zwei braucht:

The study assistant with tools:
You: What do the notes say about copying a list?
Assistant: The lists note says that two names can refer to the same list, so a change through one shows through the other. Use scores.copy() or list(scores) for an independent copy. (03-lists)
You: Compare the notes on lists and dictionaries.
Assistant: Lists keep items in order and you reach them by position, such as scores[0]. Dictionaries map keys to values and you reach a value by its key, such as ages["Ana"]. Both are mutable, and both have a copy() method for an independent copy. (03-lists, 06-dictionaries)

Die Demonstration zeigt den Normalfall. Bevor du deine Arbeit prüfst, denk durch, was sie nicht zeigt: ein Modell, das antwortet, ohne ein Tool anzufordern, einen Aufruf eines Tools, das es nicht gibt, Argumente, die kein JSON sind, und eine zweite Antwort, die wieder Tools anfordert. Jeder dieser Fälle wird von einem der Schritte oben oder von deinem run_tool abgedeckt. Wenn du nicht weiterkommst, bitte Monty um einen Hinweis zu einem Fall, ohne nach der ganzen Funktion zu fragen.

Live ausprobieren

Dieser Schritt ist optional. answer_with_tools liest bei jeder Ausführung das MODEL des Moduls, also kann ein kurzes Skript es auf das Live-Modell umstellen, ohne tools.py zu ändern. Erstelle neben tools.py eine Datei namens try_live.py mit diesen Zeilen und führe dann im python try_live.py aus:

import tools

tools.MODEL = "pl-live"
print(tools.answer_with_tools("What do the notes say about copying a list?", client=tools.make_client()))

Das Live-Modell schreibt seine eigene Antwort aus der Notiz, die dein Programm ihm schickt, also wird die Formulierung von der geskripteten abweichen, und es kann entscheiden, dass es mehr als eine Runde braucht, und NEEDS_MORE_LOOKUPS bekommen. Ein 403 bedeutet, dass dein Konto keinen Live-Zugang hat, und ein 429, dass du das Limit für den Moment erreicht hast. Auch ein Lese-Timeout ist ein normales Ergebnis: Ein Live-Modell kann länger nachdenken, als die Lesegrenze dieses Kurses erlaubt. Lösche try_live.py, wenn du fertig bist.

Wie es weitergeht

Der Lernassistent kann jetzt in seinen Notizen nachschlagen und sagen, welche Notiz er verwendet hat. Kapitel 7 macht aus der einzelnen Runde eine Agentenschleife: Das Modell fordert an, dein Programm führt die Tools aus, und die Schleife läuft weiter, bis das Modell antwortet oder ein Limit erreicht ist.

In answer_with_tools fordert die zweite Antwort ein weiteres Tool an. Was tut die Funktion, und warum?

Eine Frage braucht keine Notizen, und die erste Antwort ist eine einfache Antwort ohne Tool-Aufrufe. Wie viele Anfragen macht answer_with_tools?

Aufgabe

Ersetze in tools.py den unfertigen Rumpf von answer_with_tools(question, *, client).

  1. messages = [{"role": "system", "content": TOOLS_SYSTEM}, {"role": "user", "content": question}].

  2. Rufe client.chat.completions.create(model=MODEL, messages=messages, tools=TOOL_DESCRIPTIONS) auf.

  3. Wenn read_tool_calls keine Aufrufe findet, gib den Inhalt der Antwort zurück, oder "", wenn er None ist.

  4. Andernfalls füge assistant_turn(calls) und die Nachrichten aus tool_messages(calls, TOOLS) zum Gespräch hinzu und rufe create erneut mit demselben model und denselben tools auf.

  5. Wenn diese Antwort wieder Tools anfordert, gib NEEDS_MORE_LOOKUPS zurück. Andernfalls gib ihren Inhalt zurück, oder "", wenn er None ist.

Verwende den client, den du bekommst, und die TOOLS und TOOL_DESCRIPTIONS des Moduls. Mache höchstens zwei Anfragen. Führe python tools.py aus, um dem Lernassistenten zwei Fragen zu stellen, und prüfe dann deine Arbeit.