Antwoorden uit je notities · oefening
Kies de paar beste fragmenten
Elk fragment heeft nu een score. Het programma moet het model alleen de paar fragmenten met de hoogste score sturen, en het moet ze elke keer op dezelfde manier kiezen, ook wanneer twee fragmenten gelijk scoren. Deze les doet allebei met één sortering.
Hoe Python tuples vergelijkt
Python vergelijkt twee tuples item voor item. Het vergelijkt de eerste items, en alleen als die gelijk zijn, gaat het door naar de tweede items, dan de derde, enzovoort:
print((2, "b") < (3, "a"))
print((2, "b") < (2, "c"))
print((2, "03-lists", 9) < (2, "03-lists", 10))
De eerste vergelijking wordt beslist door 2 < 3, dus de letters doen er nooit toe. De tweede heeft een gelijkspel op 2 en wordt beslist door "b" < "c". De derde heeft een gelijkspel op 2 en op het notitie-id, en wordt beslist door de getallen, vergeleken als getallen: 9 komt vóór 10. Strings worden teken voor teken vergeleken, dus "03-lists#9" zou na "03-lists#10" komen: het eerste verschil is "9" tegenover "1". Dat is één reden om los op het notitie-id en het nummer te sorteren, en niet op een label.
Een lijst tuples sorteren sorteert dus op het eerste item en gebruikt de latere items alleen om een gelijkspel te beslechten:
ranked = [(2, "04-loops", 7), (3, "03-lists", 4), (2, "01-variables", 2)]
ranked.sort()
print(ranked)
Hoogste scores eerst
.sort() zet kleine waarden vooraan, maar het beste fragment heeft de hoogste score. Sla de score op met een minteken, dan wordt de hoogste score het kleinste getal: een score van 3 wordt opgeslagen als -3, en dat komt vóór -2. Bij een gelijkspel gaat het daarna naar het eerdere notitie-id, en dan naar het lagere fragmentnummer. Die volgorde is willekeurig, maar wel vast, dus dezelfde vraag krijgt altijd dezelfde bronnen in dezelfde volgorde.
Bouw best_chunks
best_chunks(question, chunks, k):
Begin een nieuwe, lege lijst. Bereken voor elk fragment
score = score_chunk(question, chunk["text"]). Als de score boven 0 ligt, voeg dan(-score, chunk["note_id"], chunk["number"], chunk["text"])toe. Een fragment dat geen enkel woord met de vraag deelt, is nooit een bron, hoe weinig fragmenten er ook matchen.Sorteer de nieuwe lijst met
.sort().Neem de eerste
ktuples met een slice,ranked[:k]. Een slice voorbij het eind van een lijst stopt gewoon, dus met minder dankmatches krijg je ze allemaal.Bouw voor elke tuple een dictionary op positie:
{"note_id": item[1], "number": item[2], "text": item[3], "score": -item[0]}. Het tweede minteken maakt van de opgeslagen score weer een positief getal. Geef de lijst met deze dictionaries terug.
De tekst is alleen het laatste item zodat hij met het fragment meereist naar het resultaat. Een notitie-id en een nummer komen nooit samen twee keer voor, dus de sortering hoeft nooit twee teksten te vergelijken.
Bouw nieuwe tuples en nieuwe dictionaries, en laat de lijst die je kreeg met chunks zelf sorteert, verandert de volgorde van de lijst van de aanroeper, en als je een sleutel "score" aan zijn dictionaries toevoegt, veranderen die.
Voer het uit
Voer python retrieval.py uit. De demonstratie vraagt de beste drie fragmenten op voor twee vragen:
The best 3 chunks for: How do I make an independent copy of a list?
03-lists#4 scores 3
01-variables#2 scores 2
04-loops#7 scores 2
The best 3 chunks for: copy a list
01-variables#2 scores 2
03-lists#4 scores 2
04-loops#7 scores 2
Run stopped at the next function to build: grounded_messages is built in Lesson 5.
Voor de kopieervraag wint 03-lists#4 met 3. De twee fragmenten met score 2 zijn geordend op notitie-id: 01-variables vóór 04-loops. copy a list heeft na het stopwoord a maar twee woorden over, en drie fragmenten bevatten ze allebei: een gelijkspel tussen drie fragmenten op 2. Het notitie-id beslist, dus 01-variables#2 komt eerst, hoewel 03-lists#4 de alinea is die de vraag beantwoordt. Dat is een grens van woorden tellen: het rangschikt, maar het begrijpt niet. Door drie fragmenten te sturen in plaats van één laat je het aan het model over om het antwoord daartussen te vinden.
Waarom slaat best_chunks -score op in elke tuple?
Twee fragmenten scoren allebei 2: 04-loops#7 en 01-variables#2. Welke komt eerst in het resultaat, en waarom?
Opdracht
Vervang in retrieval.py de onafgemaakte body van best_chunks(question, chunks, k).
Voeg voor elk fragment waarvan
score_chunk(question, chunk["text"])boven 0 ligt de tuple(-score, note_id, number, text)toe aan een nieuwe lijst.Sorteer die lijst met
.sort().Bouw voor elk van de eerste
ktuples{"note_id": ..., "number": ..., "text": ..., "score": ...}uit de items op positie, met de score als positief getal, en geef de lijst met deze dictionaries terug.
Verander de lijst met fragmenten die je krijgt niet, en zet hem niet in een andere volgorde. Voer python retrieval.py uit om de beste drie fragmenten voor twee vragen te zien, en controleer daarna je werk.