Antworten aus deinen Notizen · Übung
Die besten paar Abschnitte auswählen
Jeder Abschnitt hat jetzt eine Punktzahl. Das Programm soll dem Modell nur die wenigen Abschnitte mit der höchsten Punktzahl schicken, und es soll sie jedes Mal gleich auswählen, auch wenn zwei Abschnitte gleich viele Punkte haben. Diese Lektion erledigt beides mit einer einzigen Sortierung.
Wie Python Tupel vergleicht
Python vergleicht zwei Tupel Element für Element. Es vergleicht die ersten Elemente, und nur wenn sie gleich sind, geht es zu den zweiten Elementen weiter, dann zu den dritten und so weiter:
print((2, "b") < (3, "a"))
print((2, "b") < (2, "c"))
print((2, "03-lists", 9) < (2, "03-lists", 10))
Der erste Vergleich wird durch 2 < 3 entschieden, die Buchstaben spielen also keine Rolle. Der zweite hat einen Gleichstand bei 2 und wird durch "b" < "c" entschieden. Der dritte hat Gleichstände bei 2 und bei der Notiz-ID und wird durch die Zahlen entschieden, als Zahlen verglichen: 9 kommt vor 10. Strings werden Zeichen für Zeichen verglichen, also käme "03-lists#9" nach "03-lists#10": Der erste Unterschied ist "9" gegenüber "1". Das ist ein Grund, nach Notiz-ID und Nummer getrennt zu sortieren und nicht nach einem Label.
Eine Liste von Tupeln wird also nach dem ersten Element sortiert, und die späteren Elemente entscheiden nur bei Gleichstand:
ranked = [(2, "04-loops", 7), (3, "03-lists", 4), (2, "01-variables", 2)]
ranked.sort()
print(ranked)
Höchste Punktzahl zuerst
.sort() stellt kleine Werte nach vorn, aber der beste Abschnitt hat die höchste Punktzahl. Speichere die Punktzahl mit einem Minuszeichen, dann wird die höchste Punktzahl zur kleinsten Zahl: Eine Punktzahl von 3 wird als -3 gespeichert und vor -2 einsortiert. Bei Gleichstand gewinnt dann die frühere Notiz-ID und danach die niedrigere Abschnittsnummer. Diese Reihenfolge ist willkürlich, aber fest, also bekommt dieselbe Frage immer dieselben Quellen in derselben Reihenfolge.
Baue best_chunks
best_chunks(question, chunks, k):
Beginne eine neue, leere Liste. Berechne für jeden Abschnitt
score = score_chunk(question, chunk["text"]). Wenn die Punktzahl über 0 liegt, hänge(-score, chunk["note_id"], chunk["number"], chunk["text"])an. Ein Abschnitt, der kein Wort mit der Frage gemeinsam hat, ist nie eine Quelle, egal wie wenige Abschnitte passen.Sortiere die neue Liste mit
.sort().Nimm die ersten
kTupel mit einem Slice,ranked[:k]. Ein Slice über das Ende einer Liste hinaus hört einfach auf, bei weniger alskTreffern bekommst du also alle.Baue für jedes Tupel ein Dictionary nach Position:
{"note_id": item[1], "number": item[2], "text": item[3], "score": -item[0]}. Das zweite Minuszeichen macht aus der gespeicherten Punktzahl wieder eine positive Zahl. Gib die Liste dieser Dictionarys zurück.
Der Text ist nur deshalb das letzte Element, damit er mit dem Abschnitt ins Ergebnis wandert. Eine Kombination aus Notiz-ID und Nummer kommt nie doppelt vor, also muss die Sortierung nie zwei Texte vergleichen.
Baue neue Tupel und neue Dictionarys und lass die Liste, die du bekommen hast, in Ruhe. Würdest du chunks selbst sortieren, änderte sich die Reihenfolge der Liste des Aufrufers, und ein zusätzlicher Schlüssel "score" in ihren Dictionarys würde diese verändern.
Ausführen
Führe python retrieval.py aus. Die Demonstration fragt für zwei Fragen nach den besten drei Abschnitten:
The best 3 chunks for: How do I make an independent copy of a list?
03-lists#4 scores 3
01-variables#2 scores 2
04-loops#7 scores 2
The best 3 chunks for: copy a list
01-variables#2 scores 2
03-lists#4 scores 2
04-loops#7 scores 2
Run stopped at the next function to build: grounded_messages is built in Lesson 5.
Bei der Kopierfrage gewinnt 03-lists#4 mit 3. Die beiden Abschnitte mit 2 Punkten sind nach Notiz-ID geordnet: 01-variables vor 04-loops. copy a list hat nach dem Stoppwort a nur zwei Wörter, und drei Abschnitte enthalten beide, ein dreifacher Gleichstand bei 2. Die Notiz-ID entscheidet, also kommt 01-variables#2 zuerst, obwohl 03-lists#4 der Absatz ist, der die Frage beantwortet. Das ist eine Grenze des Wörterzählens: Es ordnet, aber es versteht nicht. Wer drei Abschnitte statt einem schickt, überlässt es dem Modell, die Antwort darunter zu finden.
Warum speichert best_chunks in jedem Tupel -score?
Zwei Abschnitte haben beide 2 Punkte: 04-loops#7 und 01-variables#2. Welcher kommt im Ergebnis zuerst, und warum?
Aufgabe
Ersetze in retrieval.py den unfertigen Rumpf von best_chunks(question, chunks, k).
Hänge für jeden Abschnitt, dessen
score_chunk(question, chunk["text"])über 0 liegt, das Tupel(-score, note_id, number, text)an eine neue Liste an.Sortiere diese Liste mit
.sort().Baue für jedes der ersten
kTupel aus seinen Elementen nach Position{"note_id": ..., "number": ..., "text": ..., "score": ...}, mit der Punktzahl als positiver Zahl, und gib die Liste dieser Dictionarys zurück.
Verändere die Liste der Abschnitte, die du bekommst, nicht und ordne sie nicht um. Führe python retrieval.py aus, um die besten drei Abschnitte für zwei Fragen zu sehen, und prüfe dann deine Arbeit.