0%

Eindproject

Voer je eval uit en lees het resultaat

De studieassistent is af, en hij heeft twee soorten controle. De tests uit hoofdstuk 10 zeggen of de code doet wat hij moet doen. De eval zegt hoe vaak het ophalen (retrieval) de juiste notitie vindt en hoe vaak het antwoord die vermeldt. In deze les voer je de eval uit met de instellingen van het programma, breng je twee wijzigingen aan die iemand zou kunnen proberen om hem te verbeteren, en lees je wat de getallen wel en niet zeggen.

Voer het uit

Voer python stages.py uit. Na het blok van les 6 voert stages.py de eval drie keer uit, met run_eval en print_eval uit hoofdstuk 10, uit evals.py:

Lesson 8: the eval with the capstone's settings
K = 3, MIN_SCORE = 2: retrieval 9 of 10, citations 7 of 10, 3148 tokens
  missed: Why should a default argument never be a list?
  missed: How does pytest find my tests?
  missed: How do I filter items with a list comprehension?
k = 5: retrieval 10 of 10, citations 7 of 10, 4084 tokens
  missed: Why should a default argument never be a list?
  missed: How does pytest find my tests?
  missed: How do I filter items with a list comprehension?
MIN_SCORE = 1: retrieval 9 of 10, citations 8 of 10, 3460 tokens
  missed: Why should a default argument never be a list?
  missed: How do I filter items with a list comprehension?

De eerste regel is het programma zoals het is: K is 3 en MIN_SCORE is 2 in retrieval.py, en het systeembericht is GROUNDED_SYSTEM. Het is het resultaat uit hoofdstuk 10: het ophalen vond de verwachte notitie voor 9 van de 10 vragen, en 7 antwoorden vermeldden die.

De tweede run geeft k=5 mee aan run_eval, dus elke vraag krijgt de beste vijf passages in plaats van drie. De derde zet retrieval.MIN_SCORE = 1 voor één run en zet het daarna terug, zodat een vraag waarvan de beste passage maar één woord met de vraag deelt, beantwoord wordt in plaats van “ik weet het niet” te krijgen. Die toewijzing staat in meegeleverde code die je alleen leest, gemaakt voor dit experiment.

Een grotere k

Met vijf passages vond het ophalen de verwachte notitie voor alle tien vragen. De vraag die eerst gemist werd, How do I filter items with a list comprehension?, heeft de notitie over comprehensions nodig, waarvan de passages score 2 kregen en op de vierde en vijfde plaats kwamen: het woord comprehension uit de vraag komt niet overeen met comprehensions uit de notitie, dus andere passages met twee gedeelde woorden stonden hoger.

De score voor bronvermeldingen veranderde niet. Het antwoord op die vraag zegt nog steeds dat de bronnen er geen antwoord op geven. Een passage vinden en haar gebruiken zijn twee verschillende dingen, en daarom houdt de eval twee scores bij. Bij het gescripte model is het antwoord een vaste rij, dus niets aan de passages had het kunnen veranderen. Bij een live model kunnen de extra passages helpen, of niet: dat zou je met meerdere live runs moeten uitzoeken.

Wat k = 5 zeker deed, was meer kosten. Elke onderbouwde prompt bevat nu vijf passages in plaats van drie, dus de run gebruikte 4084 tokens in plaats van 3148, ongeveer 30% meer, voor elke vraag, ook de acht die al goed beantwoord werden.

Een lagere drempel

Met MIN_SCORE = 1 wordt de vraag over pytest niet meer afgewezen. De beste passage, 12-testing#1, deelt één woord met de vraag, dus het programma vraagt het nu aan het model, en het antwoord van het gescripte model vermeldt 12-testing#1. Het aantal bronvermeldingen steeg van 7 naar 8.

De kosten zijn de reden dat de drempel bestaat. Hoofdstuk 8 zette hem op 2 omdat een passage die maar één woord met een vraag deelt vaak over iets anders gaat, en een model dat zwakke passages krijgt, antwoordt dan vaak uit zijn geheugen, en dat is precies wat onderbouwing moet voorkomen. Een lagere drempel stuurt ook een request, met de bijbehorende tokens, voor elke zwakke match. Hier won één vraag; met echte gebruikers zouden veel vragen die “ik weet het niet” zouden moeten krijgen, in plaats daarvan een antwoord krijgen.

Wat hier een echte meting is

De score voor ophalen is een echte meting, zelfs met het gescripte model. Hij wordt berekend door je eigen code, best_chunks over de twaalf echte notities, dus k = 5 vindt de notitie over comprehensions echt, en dat zou met elk model zo zijn.

De score voor bronvermeldingen is dat niet, met het gescripte model. De antwoorden daarvan zijn vaste rijen, geschreven om te laten zien wat een eval kan opvangen; het enige echte deel is of een vraag überhaupt verstuurd werd, en daarom veranderde MIN_SCORE = 1 de score. Om te beoordelen of een wijziging de antwoorden beter maakt, voer je de eval uit met een live model, meerdere keren, op een grotere set vragen, en houd je een wijziging alleen als die elke keer duidelijk wint. Les 7 van hoofdstuk 10 liet zien hoe je de eval tegen pl-live uitvoert, en wat dat kost aan dagelijkse requests.

De eval heeft ook zelf een beperking. Hij beoordeelt de manier van antwoorden uit hoofdstuk 8, waarbij het programma de passages kiest. De agent van ask schrijft zijn eigen zoekopdracht, dus de eval meet het ophalen dat ask gebruikt, niet elke stap van ask.

Thuis staan K en MIN_SCORE bovenaan retrieval.py. K bepaalt hoeveel passages search_notes aan de agent van ask teruggeeft en hoeveel de eval meestuurt. MIN_SCORE bepaalt wanneer answer_from_notes uit hoofdstuk 8 en de eval “ik weet het niet” antwoorden; bij ask beslist het model dat zelf op basis van wat de zoekopdrachten teruggaven. Verander er één, voer de eval uit en lees beide scores voordat je de wijziging houdt.

Met k = 5 ging het ophalen van 9 naar 10 van de 10, en bleven de bronvermeldingen op 7. Wat zegt dat?

Door MIN_SCORE van 2 naar 1 te verlagen werd de vraag over pytest gered. Wat kost dat?

Een eval van de studieassistent draait op het gescripte model en meldt een score voor ophalen en een score voor bronvermeldingen. Welke is een echte meting?