LLM-code testen
Vergelijk twee prompts met de eval
Een eval geeft één paar getallen voor één versie van het programma. Het nut ervan is vergelijken: voer hem uit, verander één ding, voer hem opnieuw uit. Deze les verandert het systeembericht en bekijkt wat de getallen wel en niet kunnen zeggen.
Twee systeemberichten
prompts.py heeft een tweede onderbouwd systeembericht, ALT_GROUNDED_SYSTEM, naast GROUNDED_SYSTEM uit hoofdstuk 8:
ALT_GROUNDED_SYSTEM = (
"Answer the question. The user's message includes some passages from the "
"course notes that may help. Reply with JSON only: an object with answer "
"and citations, a list of passage labels."
)
Lees het naast GROUNDED_SYSTEM. Het vraagt nog steeds om JSON met answer en citations, maar zegt nergens dat het model alleen vanuit de passages moet antwoorden, nergens dat elke passage begint met zijn label tussen vierkante haken, nergens dat het alleen die labels mag vermelden, en nergens wat het moet doen als de passages geen antwoord geven. De passages “may help” (kunnen helpen), en dat nodigt het model uit om te antwoorden vanuit wat het al weet en te verwijzen naar wat er aannemelijk uitziet.
Voer de vergelijking uit
Voer python evals.py uit. Na de eval uit les 6 roept de demonstratie de meegeleverde compare_prompts() aan. Die voert jouw run_eval twee keer uit over dezelfde tien cases, één keer met elk systeembericht, en drukt beide af:
Two system messages compared:
GROUNDED_SYSTEM: retrieval 9 of 10, citations 7 of 10, 3148 tokens
missed: Why should a default argument never be a list?
missed: How does pytest find my tests?
missed: How do I filter items with a list comprehension?
ALT_GROUNDED_SYSTEM: retrieval 9 of 10, citations 5 of 10, 2494 tokens
missed: Why should a default argument never be a list?
missed: What does a finally block do?
missed: How does range work in a for loop?
missed: How does pytest find my tests?
missed: How do I filter items with a list comprehension?
Het ophalen is beide keren 9 van de 10, zoals het hoort: het ophalen gebeurt voordat het model iets wordt gevraagd, en het systeembericht verandert niet welke passages worden gekozen. Bronvermeldingen zakken van 7 naar 5. De twee extra missers zijn de vragen over finally en range. Onder ALT_GROUNDED_SYSTEM verwijzen de antwoorden daarop naar 07-errors#5 en 04-loops#1, passages die niet bij de verstuurde zaten, dus de bronvermeldingscontrole wijst ze af. Het alternatief gebruikte ook minder tokens, 2494 tegenover 3148, omdat het systeembericht korter is en bij elke vraag wordt meegestuurd.
Dus GROUNDED_SYSTEM is beter? Bij deze run, met dit model, zeggen de getallen van wel. Dit is wat ze niet zeggen.
Wat dit bewijst op het gescripte model
Niets over de prompts. pl-scripted leest een systeembericht niet zoals een model dat doet. Het antwoordt vanuit vaste rijen, en iemand heeft de rijen voor finally en range zo geschreven dat ze naar een verkeerde passage verwijzen als het systeembericht may help bevat. De vergelijking laat zien hoe de methode werkt: dezelfde cases, één wijziging, twee paar getallen, en de missers die veranderden. Ze kan niet laten zien dat de ene prompt beter is, omdat de antwoorden van het gescripte model vooraf zijn gekozen.
Wat een verschil op tien cases betekent
Met tien cases verschuift één case een score met tien procentpunten. Zeven tegenover vijf is twee cases. Op een live model kunnen twee cases veranderen tussen twee runs van dezelfde prompt, omdat een live model, zoals les 1 liet zien, hetzelfde request elke keer anders kan beantwoorden. Een klein verschil op een kleine set is net zo goed die variatie als een effect van de wijziging.
Voordat je een vergelijking op een live model vertrouwt:
voer elke prompt meer dan één keer uit, en kijk hoeveel zijn eigen scores tussen runs bewegen;
vertrouw alleen een verschil dat groter is dan die beweging;
lees de missers die veranderden, niet alleen de aantallen, omdat een misser de schuld van de eval kan zijn, zoals een case met een vraag die niets in de notities beantwoordt;
gebruik meer cases als dat kan, zodat één case minder zwaar telt.
Probeer het live
Dit is optioneel. Als je account live toegang heeft, kun je de vergelijking op pl-live uitvoeren. In de
python -c "import evals; evals.MODEL = 'pl-live'; evals.compare_prompts()"
answer_case leest de modelnaam uit evals.MODEL, dus deze ene toewijzing stuurt elke evalvraag naar het live model. Het gebruikt 18 van je dagelijkse live requests, 9 per prompt (de pytest-case vraagt niets). Dat is meer dan de limiet per minuut toestaat, dus sommige aanroepen krijgen een 429 waarvan de Retry-After het aantal seconden is tot de volgende minuut begint, en call_model wacht dat uit: de run duurt een tot twee minuten en drukt niets af totdat beide evals klaar zijn.
Eén live run per prompt geeft je per prompt één paar getallen, en hoeveel die variëren, zie je pas als je ze op een andere dag opnieuw uitvoert. Probeer niet meerdere runs in één sessie; de daglimiet houdt je eerder tegen.
De gebruikelijke opmerkingen over pl-live gelden. Een 403 betekent dat je account geen live toegang heeft. Een 429 waarbij call_model opgeeft, betekent dat je de daglimiet hebt bereikt. Een lees-time-out is een normale uitkomst bij een live model, dat langer kan nadenken dan de leesgrens van deze cursus; call_model probeert het dan opnieuw, en na drie time-outs stopt de run met de fout. Een antwoord dat stopt bij max_tokens geeft ReplyCutOff. run_eval vangt alleen ValueError af, dus de run stopt daar. Dat is zeldzaam bij deze korte antwoorden. Als het gebeurt, voer de vergelijking dan op een andere dag opnieuw uit.
Bij één live run scoort prompt A 7 van de 10 voor bronvermeldingen en prompt B 5 van de 10. Wat vertelt je dat?
compare_prompts() op pl-scripted geeft GROUNDED_SYSTEM 7 van de 10 en ALT_GROUNDED_SYSTEM 5 van de 10. Waarom bewijst dat niets over de twee prompts?
Je wilt weten of een nieuw systeembericht echt beter is op het live model. Wat moet je doen voordat je de vergelijking vertrouwt?