0%

Tools · Übung

Mehrere Tool-Aufrufe in einer Antwort

Manche Fragen brauchen mehr als ein Tool. Die Demonstration in Lektion 6 endete mit so einer Frage: Compare the notes on lists and dictionaries. Das Modell hat in einer einzigen Antwort zwei Notizen angefordert, mit zwei Aufrufen in tool_calls. Das nennt man oft parallele Tool-Aufrufe (parallel tool calls): Das Modell fordert mehrere Tools auf einmal an statt eines pro Runde, und das spart für jedes zusätzliche Tool eine ganze Anfrage und Antwort.

Eine Assistant-Nachricht, ein Ergebnis pro Aufruf

Die Aufrufe aus der Demonstration in Lektion 6 waren:

[
    {"id": "call_1_1", "name": "read_note", "arguments": '{"note_id": "03-lists"}'},
    {"id": "call_1_2", "name": "read_note", "arguments": '{"note_id": "06-dictionaries"}'},
]

Die zweite Anfrage enthält eine Assistant-Nachricht mit beiden Aufrufen, die dein assistant_turn schon aus der ganzen Liste baut, gefolgt von einer Tool-Nachricht pro Aufruf:

[
    {"role": "assistant", "content": None, "tool_calls": [...both calls...]},
    {"role": "tool", "tool_call_id": "call_1_1", "content": "# Lists\n\n..."},
    {"role": "tool", "tool_call_id": "call_1_2", "content": "# Dictionaries\n\n..."},
]

Jeder Aufruf braucht sein Ergebnis. Ein Modell, das zwei Dinge angefordert und nur zu einem etwas gehört hat, kann nicht wissen, was mit dem anderen passiert ist, und echte Dienste lehnen eine Anfrage ab, in der ein Aufruf keine Tool-Nachricht hat. Die IDs sagen dem Modell, welches Ergebnis welches ist, also müssen sie übereinstimmen. Halte die Ergebnisse außerdem in der Reihenfolge der Aufrufe: Das kostet nichts und macht das Gespräch leicht lesbar.

„Parallel“ beschreibt die Anfrage, nicht dein Programm. Dein Programm kann die Aufrufe in einer Schleife nacheinander ausführen, und hier tut es das auch.

Ein fehlerhafter Aufruf hält die anderen nicht auf

Seit Lektion 6 gibt run_tool bei einem fehlerhaften Aufruf einen Fehler-String zurück, statt eine Ausnahme auszulösen. Bei mehreren Aufrufen ist das noch wichtiger. Wenn das Modell gleichzeitig 03-lists und 99-magic angefordert hat, ist das erste Ergebnis die Notiz und das zweite Error: There is no note called 99-magic. .... Beide gehen zurück, und das Modell bekommt trotzdem die Notiz, die es bekommen konnte. Ein run_tool, das eine Ausnahme auslöst, würde beide verlieren.

Baue tool_messages

tool_messages(calls, tools) führt jeden Aufruf aus und gibt die Tool-Nachrichten zurück:

  1. Beginne mit einer leeren Liste.

  2. Durchlaufe calls. Hol dir für jeden Aufruf das Ergebnis mit run_tool(call, tools) und hänge tool_result(call, result) an.

  3. Gib die Liste zurück.

Verwende dein eigenes run_tool und tool_result; zusammen behandeln sie schon einen einzelnen Aufruf, also braucht tool_messages nur die Schleife. Reiche tools durch, so wie run_tool es tut.

Ausführen

Führe python tools.py aus. Die Demonstration führt die beiden Aufrufe mit deinem tool_messages aus, gibt für jedes Ergebnis die ID und die Länge aus und schickt dann die Assistant-Nachricht und beide Ergebnisse zurück:

Two calls in one reply:
[{'id': 'call_1_1', 'name': 'read_note', 'arguments': '{"note_id": "03-lists"}'}, {'id': 'call_1_2', 'name': 'read_note', 'arguments': '{"note_id": "06-dictionaries"}'}]
call_1_1: 1226 characters
call_1_2: 1197 characters
Answer: Lists keep items in order and you reach them by position, such as scores[0]. Dictionaries map keys to values and you reach a value by its key, such as ages["Ana"]. Both are mutable, and both have a copy() method for an independent copy. (03-lists, 06-dictionaries)
The study assistant with tools:
You: What do the notes say about copying a list?
Run stopped at the next function to build: answer_with_tools is built in Lesson 8.

Die Antwort nennt beide Notizen. Zwei Aufrufe, zwei Ergebnisse, eine zusätzliche Anfrage.

Eine Antwort fordert zwei Tools an. Wie viele Nachrichten fügt dein Programm vor der nächsten Anfrage zum Gespräch hinzu?

Das Modell fordert in einer Antwort 03-lists und 99-magic an. Was sollte tool_messages zurückgeben?

Aufgabe

Ersetze in tools.py den unfertigen Rumpf von tool_messages(calls, tools).

  • Durchlaufe calls der Reihe nach.

  • Hol dir für jeden Aufruf das Ergebnis mit run_tool(call, tools) und füge tool_result(call, result) einer neuen Liste hinzu.

  • Gib die Liste zurück: eine Tool-Nachricht pro Aufruf, in der Reihenfolge der Aufrufe.

Ein Aufruf, der fehlschlägt, bekommt trotzdem sein Fehlerergebnis, und die Aufrufe danach laufen trotzdem. Führe python tools.py aus, um zu sehen, wie zwei Notizen in einer Runde beantwortet werden, und prüfe dann deine Arbeit.