0%

Antwoorden uit je notities · oefening

Zeg "ik weet het niet" als niets past

best_chunks geeft terug wat er matcht, hoe zwak ook. Voor “Tell me about tuples.” geeft het één fragment terug dat één woord met de vraag deelt. Dat naar het model sturen vraagt om problemen: de bronnen beantwoorden de vraag niet, dus een model dat behulpzaam wil zijn, antwoordt misschien uit het geheugen, en dat is precies het probleem waarmee les 1 begon. En elk request kost tokens. Deze les voegt een regel toe voor wanneer het programma helemaal niets moet vragen.

Een drempel

MIN_SCORE bovenaan retrieval.py is 2. Een vraag is het versturen alleen waard als het beste fragment er minstens twee woorden mee deelt:

  • geen enkel fragment scoort boven 0, dus best is leeg: niet vragen;

  • het beste fragment scoort lager dan MIN_SCORE: niet vragen;

  • anders: vragen.

best is al gesorteerd, beste eerst, dus alleen best[0] hoeft gecontroleerd te worden. De andere fragmenten mogen lager scoren; ze gaan mee als extra bronnen.

Als de regel nee zegt, antwoordt het project in de volgende les met de vaste tekst in I_DONT_KNOW, “I don’t know. The notes don’t cover that.”, zonder enig request. Een eerlijk “ik weet het niet” is beter dan een zelfverzekerd antwoord dat niet uit de notities kwam, en het kost niets.

Twee is een klein getal, gekozen voor deze korte notities en vragen. Te hoog, en goede vragen blijven onbeantwoord; te laag, en zwakke matches komen erdoor. Hoofdstuk 10 meet zulke keuzes op een set testvragen in plaats van te gokken.

Bouw should_answer

should_answer(best) geeft False terug als best leeg is of als best[0]["score"] lager is dan MIN_SCORE, en anders True. Controleer op een lege lijst voordat je best[0] leest, anders werpt een lege lijst IndexError op. Je kunt het schrijven als een if met or, of als één expressie met len(best) > 0 and .... Geef hoe dan ook True of False terug, niet de lijst zelf: best and ... geeft [] terug voor een lege lijst.

Gebruik MIN_SCORE bij naam, zodat een andere waarde van de constante de regel verandert.

Voer het uit

Voer python retrieval.py uit. De demonstratie zoekt de beste fragmenten voor drie vragen en legt elk ervan aan je regel voor:

Should the model be asked?
  What is the capital of France? best score 0: False
  Tell me about tuples. best score 1: False
  How do I make an independent copy of a list? best score 3: True
Answers from the notes:
You: How do I make an independent copy of a list?
Run stopped at the next function to build: answer_from_notes is built in Lesson 8.

capital en France staan in geen enkele notitie, dus best is leeg. “Tell me about tuples.” matcht één fragment, 06-dictionaries#4, op het ene woord tuples: die alinea zegt dat een sleutel van een dictionary een tuple kan zijn. Ze zegt niets over wat een tuple is, en 1 is lager dan 2. De kopieervraag scoort 3 en wordt verstuurd.

Waarom sla je het model over als het beste fragment 1 scoort?

best bevat twee fragmenten die 5 en 1 scoren, en MIN_SCORE is 2. Wat geeft should_answer(best) terug?

Opdracht

Vervang in retrieval.py de onafgemaakte body van should_answer(best), waarbij best een lijst uit best_chunks is. Geef False terug als best leeg is of als best[0]["score"] lager is dan MIN_SCORE. Geef anders True terug.

Gebruik MIN_SCORE van de module bij naam; de controles veranderen hem. Voer python retrieval.py uit om de regel op drie vragen te zien, en controleer daarna je werk.