0%

Kapitel 7

Ein kleiner Agent

Von einem Tool-Aufruf zur Schleife

Kapitel 6 endete mit answer_with_tools: eine Anfrage, eine Runde Tool-Aufrufe, noch eine Anfrage und eine Antwort. Die Funktion gibt auf, wenn das Modell ein zweites Mal ein Tool anfordert, denn sie kann nicht wissen, wie viele Runden eine Frage braucht. Dieses Kapitel hebt diese Grenze auf und ersetzt sie durch eigene Limits.

Dein Projekt für dieses Kapitel

Öffne agent.py im Projekteditor. Die Datei importiert aus drei Kursdateien:

from client_calls import MODEL, make_client, scenario_client
from prompts import TOOLS_SYSTEM
from tools import (
    TOOL_DESCRIPTIONS,
    answer_with_tools,
    assistant_turn,
    ...
)

tools.py ist der fertige Code aus Kapitel 6. Er liegt daneben, zusammen mit den früheren Dateien, die er importiert: client_calls.py, structured.py, quiz_models.py, conversation.py, llm_basics.py und errors.py. Keine davon musst du ändern. Wie zuvor verwendet die Prüfung deiner Arbeit eigene Kopien. Eine Änderung dort kann also keine Bewertung beeinflussen, aber sie kann die Demonstration lahmlegen.

Der obere Teil von agent.py ist fertiger Code, den du in späteren Lektionen lesen sollst: ein drittes Tool, save_flashcard, das eine Lernkarten-Datei schreibt, mit seiner Beschreibung und einer Prüfung des Dateinamens; zwei Dictionaries mit Tools, READ_TOOLS und AGENT_TOOLS; und ein paar Hilfsfunktionen, describe_tools, approve_all, refuse_all und print_trace. Darunter stehen vier unfertige Funktionen: run_agent, run_calls, repeated_call und stop_reason. Die meiste Arbeit des Kapitels steckt in run_agent, das in jeder Lektion ein Stück wächst. python agent.py führt die Datei aus, und die Demonstration am Ende ruft jede deiner Funktionen auf, sobald es sie gibt. Der Demonstrationscode unter deinen Funktionen gehört nicht zum Kurs. Eine Hilfsfunktion dort, has_parameter, schaut mit Pythons Modul inspect nach, welche Parameter dein run_agent bisher hat, damit die Demonstration die Version aufrufen kann, die du gerade hast. Du musst sie nicht lesen.

Eine Runde reicht nicht

Führe jetzt in der Shell python agent.py aus, bevor du irgendetwas änderst. Die Demonstration stellt answer_with_tools eine Frage zu den Notizen aus Kapitel 6, schickt dann dieselbe erste Anfrage selbst und gibt die Tool-Aufrufe in der Antwort des Modells aus:

print(answer_with_tools("What does the note on errors say about finally?", client=client))
One round of tools, from Chapter 6:
I needed more than one round of lookups to answer that.
The first reply asked for:
[{'id': 'call_1_1', 'name': 'list_notes', 'arguments': '{}'}]
The agent loop:
Run stopped at the next function to build: run_agent is built in Lesson 2.

answer_with_tools hat NEEDS_MORE_LOOKUPS zurückgegeben. Die erste Antwort des Modells zeigt, warum. In der Frage steht „the note on errors“ (die Notiz über Fehler), nicht 07-errors, also kannte das Modell die ID der Notiz nicht. Es hat zuerst list_notes angefordert. Mit der Liste in der Hand hat es read_note mit 07-errors angefordert: eine zweite Runde Tools, die answer_with_tools nicht ausführt.

Das geskriptete Modell spielt das anhand einer Tabelle durch, wie SCRIPTED_MODEL.md zeigt, aber ein Live-Modell macht ständig genau so etwas. Es schlägt etwas nach, liest das Ergebnis und weiß erst dann, was es als Nächstes nachschlagen muss. Ein Programm kann nicht im Voraus sagen, wie viele Runden das dauert.

Die Schleife

Die Lösung ist, einfach weiterzumachen:

  1. Sende das Gespräch mit den Tools.

  2. Wenn die Antwort des Modells nichts anfordert, ist sie die eigentliche Antwort. Hör auf.

  3. Andernfalls führe jeden angeforderten Aufruf aus, füge die Assistant-Nachricht und die Tool-Ergebnisse zum Gespräch hinzu und geh zurück zu Schritt 1.

Ein Programm, das diese Schleife ausführt, meint man meistens, wenn man von einem Agenten spricht: Das Modell wählt den nächsten Schritt, und dein Programm führt ihn aus und meldet das Ergebnis zurück. Innerhalb einer Runde passiert nichts Neues. Jede ist genau die Runde, die du in Kapitel 6 gebaut hast, mit read_tool_calls, assistant_turn und tool_messages. Neu ist nur, dass das Programm noch einmal herumgeht.

Für die Frage zu Fehlern stellt die Schleife drei Anfragen:

AnfrageDas Gespräch, das sie sendetDie Antwort des Modells fordert an
1Systemnachricht, Fragelist_notes
2dasselbe, plus die Assistant-Nachricht und die Liste der Notizenread_note mit 07-errors
3dasselbe, plus die Assistant-Nachricht und den Text der Notiznichts: Sie ist die eigentliche Antwort

Drei Risiken

Eine Schleife, die so lange weiterläuft, bis das Modell zufrieden ist, hat drei Probleme. Der Rest des Kapitels geht sie einzeln an.

Erstens: Das Modell entscheidet, wann Schluss ist. Die Schleife oben endet nur, wenn eine Antwort des Modells nichts anfordert. Ein Modell, das immer weiter anfordert, ob wegen eines Fehlers in einem Tool, eines verwirrenden Ergebnisses oder einfach aus Pech, hält das Programm am Laufen. Lektion 3 führt ein Limit für die Zahl der Schritte ein.

Zweitens: Jede Runde kostet mehr als die vorige. Jede Anfrage trägt das ganze Gespräch mit sich, und das Gespräch wächst in jeder Runde um den Text einer Notiz. Die dritte Anfrage oben ist deshalb um ein Vielfaches größer als die erste. Lektion 4 zählt die Tokens und stoppt bei einem Budget, und Lektion 5 hält fest, was jeder Schritt getan und gekostet hat.

Drittens: Ein Tool kann etwas verändern. Eine Notiz zu lesen ist harmlos. save_flashcard schreibt eine Datei, und das Modell wählt deren Namen und Inhalt. Lektion 6 sorgt dafür, dass das Programm einen Menschen fragt, bevor ein solches Tool läuft.

Lektion 7 ergänzt eine weitere Prüfung für das erste Risiko: Ein Modell, das zweimal genau denselben Aufruf anfordert, erfährt beim zweiten Mal nichts Neues. Das Projekt bündelt alle vier Stopp-Prüfungen in einer Funktion, in einer festen Reihenfolge.

Warum hat answer_with_tools für „What does the note on errors say about finally?“ NEEDS_MORE_LOOKUPS zurückgegeben?

Eine einfache Agentenschleife sendet eine Anfrage, führt die Tools aus, die die Antwort des Modells anfordert, schickt die Ergebnisse zurück und wiederholt das. Was bringt sie ohne weitere Prüfungen zum Stehen?

Eine Agentenschleife stoppt nur, wenn eine Antwort des Modells keine Tools anfordert. Das Modell fordert in jeder Runde read_note mit 07-errors an. Was ist das Risiko?