Antworten aus deinen Notizen · Übung
Einen Abschnitt anhand einer Frage bewerten
Ein Programm kann einen Abschnitt nicht fragen, ob er eine Frage beantwortet. Es kann etwas zählen. Diese Lektion zählt die Wörter, die ein Abschnitt mit der Frage gemeinsam hat, nach einer exakten Regel, sodass dieselbe Frage und derselbe Abschnitt immer dieselbe Punktzahl bekommen.
Die Regel
words(text) macht aus einem beliebigen Text ein Set von Wörtern:
Wandle den Text in Kleinbuchstaben um, damit
Listundlistdasselbe Wort sind.Ersetze jedes Zeichen aus
PUNCTUATIONdurch ein Leerzeichen.PUNCTUATIONist eine Konstante oben inretrieval.py:.,:;!?"', der Backtick, Klammern jeder Art und<>#*=+-/. Gehe in einer Schleife Zeichen für Zeichen darüber, mittext = text.replace(character, " ").Teile das Ergebnis mit
.split()ohne Argument auf. Das teilt an jeder Folge von Leerzeichen, Tabs und Zeilenumbrüchen und liefert nie ein leeres Wort.Behalte jedes Wort, das nicht in
STOP_WORDSsteht, und gib die behaltenen Wörter als Set zurück.
STOP_WORDS enthält Wörter wie the, how, of, what und note, die in fast jeder Frage und jedem Absatz vorkommen. Würden sie mitzählen, sähe jeder Abschnitt relevant aus. Ein Set enthält jedes Wort nur einmal, egal wie oft der Text es wiederholt.
score_chunk(question, text) ist dann die Anzahl der Wörter aus words(question), die auch in words(text) vorkommen. Gehe in einer Schleife über die Wörter der Frage und zähle 1 für jedes, das im Set des Abschnitts steht.
Warum Satzzeichen zu Leerzeichen werden
Die Notizen sind voller Code, und Code klebt Wörter mit Satzzeichen zusammen. Wenn du jedes Satzzeichen durch ein Leerzeichen ersetzt, werden sie getrennt:
text = "Use `scores.copy()` or `list(scores)`."
for character in ".()`":
text = text.replace(character, " ")
print(text.split())
Punkt, Klammern und Backticks sind weg, also sind copy und list eigene Wörter und können zu einer Frage passen, die danach fragt, wie man eine Liste kopiert. Würdest du Satzzeichen nur an den Enden jedes Wortes entfernen, bliebe scores.copy ein einziges Wort, und das enthält keine Frage.
Auch der Bindestrich steht in PUNCTUATION, also wird aus der Notiz-ID 03-lists die beiden Wörter 03 und lists. Der Unterstrich steht nicht darin, also bleibt ein Name wie max_messages ein Wort.
Was die Regel nicht kann
Die Regel vergleicht die Schreibweise, nicht die Bedeutung. tuples passt nicht zu tuple, und change passt nicht zu changes. Eine Frage mit „duplicate“ findet keinen Absatz, in dem „copy“ steht. Das ist der Preis für eine Regel, die du in vier Zeilen lesen kannst. Kapitel 12 erklärt Embeddings, die stattdessen nach Bedeutung vergleichen.
Baue words und score_chunk
Schreibe beide in retrieval.py nach der Regel oben. Verwende PUNCTUATION und STOP_WORDS über ihren Namen: Die Prüfungen geben ihnen andere Werte, um sicherzustellen, dass deine Funktionen sie lesen. score_chunk soll beide Wort-Sets mit deiner Funktion words bilden.
Ausführen
Führe python retrieval.py aus. Die Demonstration gibt die Wörter der Kopierfrage aus, sortiert, damit die Ausgabe jedes Mal gleich ist (ein Set hat keine feste Reihenfolge), und dazu die Punktzahlen zweier Abschnitte:
The words of the question, sorted: ['copy', 'independent', 'list', 'make']
03-lists#4 scores 3
01-variables#2 scores 2
Run stopped at the next function to build: best_chunks is built in Lesson 4.
How, do, I, an, of und a sind Stoppwörter, und das Fragezeichen ist ein Satzzeichen, also bleiben vier Wörter übrig. 03-lists#4 enthält copy (aus scores.copy()), list und independent: 3. 01-variables#2 sagt „Assignment does not copy anything“ und spricht über dieselbe list: 2. Dieser Abschnitt hat Wörter mit der Frage gemeinsam, ohne sie zu beantworten. Das ist beim Wortvergleich normal und der Grund, warum die nächste Lektion ein paar Abschnitte behält und nicht nur einen.
Die Frage lautet „list“, und ein Abschnitt enthält „list“ dreimal. Was gibt score_chunk zurück?
Ein Abschnitt sagt „A tuple cannot change.“ Warum bekommt er für die Frage „Tell me about tuples.“ die Punktzahl 0?
Aufgabe
Ersetze in retrieval.py die unfertigen Rümpfe von zwei Funktionen.
words(text): Wandletextin Kleinbuchstaben um; ersetze jedes Zeichen ausPUNCTUATIONdurch ein Leerzeichen, mit.replacein einer Schleife; teile das Ergebnis mit.split()ohne Argument auf; gib die Wörter, die nicht inSTOP_WORDSstehen, als Set zurück.score_chunk(question, text): Gib zurück, wie viele Wörter auswords(question)auch inwords(text)vorkommen.
Verwende PUNCTUATION und STOP_WORDS des Moduls über ihren Namen; die Prüfungen ändern sie. Führe python retrieval.py aus, um die Punktzahlen zweier Abschnitte zu sehen, und prüfe dann deine Arbeit.