Een LLM-aanroep is een HTTP-request
Wat een taalmodel doet
Voordat je een model iets stuurt, is het handig te weten wat het doet met wat je stuurt. De korte versie: een taalmodel krijgt tekst binnen en geeft tekst terug. Alles wat een chatassistent lijkt te doen, van vragen beantwoorden tot code schrijven, komt voort uit die ene bewerking.
Tekst erin, tekst eruit
Je stuurt het model wat tekst, de prompt. Het model bepaalt welke tekst waarschijnlijk volgt en stuurt die terug, de completion. Vraag What is a Python list? en de meest waarschijnlijke voortzetting is uitleg over lijsten, dus die krijg je.
Bij een gewone aanroep zoekt het model het antwoord nergens op. Het heeft geen zoekmachine en geen database met feiten die het tijdens je aanroep raadpleegt. Wat het maakt, komt uit patronen die het leerde uit een enorme hoeveelheid tekst, lang voordat het in gebruik werd genomen. Daarom kan een model lijsten goed uitleggen en toch vol overtuiging een fout feit noemen: beide komen uit hetzelfde proces.
Eén token tegelijk
Een model schrijft niet een heel antwoord in één keer. Het maakt één klein stukje, voegt dat toe aan de tekst tot dan toe, maakt dan het volgende stukje op basis van alles ervoor, en herhaalt dat tot het besluit te stoppen of een lengtelimiet raakt.
Die stukjes heten tokens. Een token is vaak een kort woord, een deel van een langer woord, een spatie plus een woord, of een leesteken. Een tokenizer, het onderdeel dat de tekst opsplitst, zou de zin Lists are changeable. zo kunnen opdelen:
Lists | are | change | able | .
Dat zijn vijf tokens voor drie woorden. Elk model splitst tekst op zijn eigen manier, dus dezelfde zin kan bij een ander model een ander aantal tokens zijn. Voor Engelse tekst is een token gemiddeld ongeveer vier tekens, en met die vuistregel telt het gescripte cursusmodel.
Tokens doen ertoe voor jou als programmeur, om twee redenen. Aanbieders rekenen per token, apart voor de tokens die je stuurt en de tokens die je terugkrijgt. En elk model heeft een limiet op hoeveel tokens één aanroep kan bevatten. Je berekent de prijs van een aanroep in les 6 van dit hoofdstuk en komt de limiet tegen in hoofdstuk 2.
Geen geheugen tussen aanroepen
Elke aanroep van een model staat op zichzelf. Als je een model in het ene request je naam vertelt en er in het volgende naar vraagt, weet het die niet. Niets uit het eerste request wordt bewaard voor het tweede.
Een chatapp lijkt te onthouden omdat de app bij elk nieuw bericht het hele gesprek opnieuw meestuurt. Als je in hoofdstuk 2 zelf een gesprek bouwt, doet je programma hetzelfde.
Dezelfde vraag, verschillende antwoorden
De meeste modellen kiezen elk volgend token met een beetje toeval, dus dezelfde vraag twee keer stellen kan twee verschillende formuleringen opleveren, of af en toe twee verschillende antwoorden. Een instelling die temperature heet bepaalt hoeveel: lagere waarden laten het model bij de meest waarschijnlijke keuzes blijven, hogere waarden laten het afdwalen.
Die variatie is een probleem als je een programma wilt controleren. Daarom varieert het gescripte model van de cursus, pl-scripted, nooit. Het antwoordt uit een vaste tabel met vragen, geeft elke keer hetzelfde antwoord en negeert temperature. Het live model, pl-live, varieert zoals elk echt model.
Je stelt een model een vraag over Python. Waar komt het antwoord vandaan?
In het ene request stuur je My name is Sam. In het volgende request stuur je alleen What is my name? Wat weet het model?
Welke uitspraak over tokens klopt?
Je stuurt pl-live twee keer precies hetzelfde request. Wat kun je verwachten?