Antworten aus deinen Notizen · Übung
„Ich weiß es nicht“ sagen, wenn nichts passt
best_chunks gibt alles zurück, was passt, egal wie schwach. Für „Tell me about tuples.“ liefert es einen Abschnitt, der ein einziges Wort mit der Frage gemeinsam hat. Den an das Modell zu schicken, fordert Ärger heraus: Die Quellen beantworten die Frage nicht, also antwortet ein Modell, das hilfreich sein will, womöglich stattdessen aus dem Gedächtnis, und genau das war das Problem, mit dem Lektion 1 begann. Außerdem kostet jede Anfrage Tokens. Diese Lektion fügt eine Regel hinzu, wann das Programm gar nicht erst fragen soll.
Ein Schwellenwert
MIN_SCORE oben in retrieval.py ist 2. Eine Frage lohnt sich nur dann zu schicken, wenn ihr bester Abschnitt mindestens zwei Wörter mit ihr gemeinsam hat:
kein Abschnitt hat mehr als 0 Punkte, also ist
bestleer: nicht fragen;der beste Abschnitt liegt unter
MIN_SCORE: nicht fragen;andernfalls: fragen.
best ist bereits sortiert, der beste zuerst, also muss nur best[0] geprüft werden. Die anderen Abschnitte dürfen weniger Punkte haben; sie kommen als zusätzliche Quellen mit.
Wenn die Regel Nein sagt, antwortet das Projekt in der nächsten Lektion mit dem festen Text in I_DONT_KNOW, „I don’t know. The notes don’t cover that.“, ganz ohne Anfrage. Ein ehrliches „Ich weiß es nicht“ ist besser als eine selbstsichere Antwort, die nicht aus den Notizen stammt, und es kostet nichts.
Zwei ist eine kleine Zahl, gewählt für diese kurzen Notizen und Fragen. Ist der Wert zu hoch, bleiben gute Fragen unbeantwortet; ist er zu niedrig, kommen schwache Treffer durch. Kapitel 10 misst solche Entscheidungen an einer Reihe von Testfragen, statt zu raten.
Baue should_answer
should_answer(best) gibt False zurück, wenn best leer ist oder wenn best[0]["score"] unter MIN_SCORE liegt, und sonst True. Prüfe auf eine leere Liste, bevor du best[0] liest, sonst löst eine leere Liste IndexError aus. Du kannst es als if mit or schreiben oder als einen Ausdruck mit len(best) > 0 and .... In beiden Fällen gibst du True oder False zurück, nicht die Liste selbst: best and ... gibt bei einer leeren Liste [] zurück.
Verwende MIN_SCORE über seinen Namen, damit eine Änderung der Konstante die Regel ändert.
Ausführen
Führe python retrieval.py aus. Die Demonstration sucht die besten Abschnitte für drei Fragen und fragt bei jeder deine Regel:
Should the model be asked?
What is the capital of France? best score 0: False
Tell me about tuples. best score 1: False
How do I make an independent copy of a list? best score 3: True
Answers from the notes:
You: How do I make an independent copy of a list?
Run stopped at the next function to build: answer_from_notes is built in Lesson 8.
capital und France kommen in keiner Notiz vor, also ist best leer. „Tell me about tuples.“ passt zu einem Abschnitt, 06-dictionaries#4, über das eine Wort tuples: Dieser Absatz sagt, dass ein Dictionary-Schlüssel ein Tupel sein kann. Was ein Tupel ist, sagt er nicht, und 1 liegt unter 2. Die Kopierfrage erreicht 3 Punkte und wird geschickt.
Warum wird das Modell übersprungen, wenn der beste Abschnitt 1 Punkt hat?
best enthält zwei Abschnitte mit 5 und 1 Punkten, und MIN_SCORE ist 2. Was gibt should_answer(best) zurück?
Aufgabe
Ersetze in retrieval.py den unfertigen Rumpf von should_answer(best), wobei best eine Liste aus best_chunks ist. Gib False zurück, wenn best leer ist oder wenn best[0]["score"] unter MIN_SCORE liegt. Andernfalls gib True zurück.
Verwende MIN_SCORE des Moduls über seinen Namen; die Prüfungen ändern ihn. Führe python retrieval.py aus, um die Regel an drei Fragen zu sehen, und prüfe dann deine Arbeit.