Ein LLM-Aufruf ist eine HTTP-Anfrage
Was ein Sprachmodell tut
Bevor du einem Modell etwas sendest, hilft es zu wissen, was es mit dem Gesendeten macht. Kurz gesagt: Ein Sprachmodell nimmt Text an und gibt Text zurück. Alles, was ein Chat-Assistent scheinbar kann, vom Beantworten von Fragen bis zum Schreiben von Code, entsteht aus dieser einen Operation.
Text rein, Text raus
Du sendest dem Modell einen Text, den Prompt. Das Modell ermittelt, welcher Text wahrscheinlich als Nächstes kommt, und sendet ihn zurück, die Vervollständigung (Completion). Fragst du What is a Python list?, ist die wahrscheinlichste Fortsetzung eine Erklärung von Listen, und genau die bekommst du.
Bei einem einfachen Aufruf schlägt das Modell die Antwort nirgends nach. Es hat keine Suchmaschine und keine Faktendatenbank, die es während deines Aufrufs befragen könnte. Was es erzeugt, stammt aus Mustern, die es aus einer sehr großen Textmenge gelernt hat, bevor es überhaupt in Betrieb ging. Deshalb kann ein Modell Listen gut erklären und trotzdem mit voller Überzeugung eine falsche Tatsache behaupten: Beides entsteht durch denselben Vorgang.
Ein Token nach dem anderen
Ein Modell schreibt nicht die ganze Antwort auf einmal. Es erzeugt ein kleines Stück, hängt es an den bisherigen Text an, erzeugt dann auf Grundlage von allem davor das nächste Stück und wiederholt das, bis es beschließt aufzuhören oder an eine Längengrenze stößt.
Diese Stücke heißen Tokens. Ein Token ist oft ein kurzes Wort, ein Teil eines längeren Wortes, ein Leerzeichen plus ein Wort oder ein Satzzeichen. Ein Tokenizer, also der Teil, der das Zerlegen übernimmt, könnte den Satz Lists are changeable. so aufteilen:
Lists | are | change | able | .
Das wären fünf Tokens für drei Wörter. Jedes Modell zerlegt Text auf seine eigene Weise, daher kann derselbe Satz bei einem anderen Modell eine andere Anzahl an Tokens ergeben. Bei englischem Text umfasst ein Token im Schnitt etwa vier Zeichen, und mit dieser Faustregel zählt das geskriptete Kursmodell.
Tokens sind für dich als Programmierer aus zwei Gründen wichtig. Anbieter berechnen pro Token, getrennt für die Tokens, die du sendest, und die Tokens, die du zurückbekommst. Und jedes Modell hat eine Grenze dafür, wie viele Tokens ein einzelner Aufruf enthalten kann. In Lektion 6 dieses Kapitels berechnest du den Preis eines Aufrufs, und in Kapitel 2 begegnest du der Grenze.
Kein Gedächtnis zwischen Aufrufen
Jeder Aufruf an ein Modell steht für sich. Wenn du einem Modell in einer Anfrage deinen Namen nennst und in der nächsten danach fragst, kennt es ihn nicht. Nichts aus der ersten Anfrage bleibt für die zweite erhalten.
Eine Chat-App scheint sich zu erinnern, weil die App mit jeder neuen Nachricht das ganze Gespräch erneut sendet. Wenn du in Kapitel 2 selbst ein Gespräch aufbaust, macht dein Programm dasselbe.
Dieselbe Frage, verschiedene Antworten
Die meisten Modelle wählen jedes nächste Token mit etwas Zufall aus. Stellst du dieselbe Frage zweimal, bekommst du daher womöglich zwei unterschiedliche Formulierungen oder gelegentlich zwei unterschiedliche Antworten. Eine Einstellung namens temperature steuert, wie stark: Niedrigere Werte lassen das Modell bei seinen wahrscheinlichsten Entscheidungen bleiben, höhere Werte lassen es abschweifen.
Diese Schwankung ist ein Problem, wenn du ein Programm prüfen willst. Deshalb schwankt das geskriptete Modell des Kurses, pl-scripted, nie. Es antwortet aus einer festen Tabelle von Fragen, gibt jedes Mal dieselbe Antwort und ignoriert temperature. Das Live-Modell, pl-live, schwankt wie jedes echte Modell.
Du stellst einem Modell eine Frage zu Python. Woher kommt seine Antwort?
In einer Anfrage sendest du My name is Sam. In der nächsten Anfrage sendest du nur What is my name? Was weiß das Modell?
Welche Aussage über Tokens stimmt?
Du sendest pl-live zweimal genau dieselbe Anfrage. Was solltest du erwarten?