0%

Antworten aus deinen Notizen · Übung

Einen Abschnitt anhand einer Frage bewerten

Ein Programm kann einen Abschnitt nicht fragen, ob er eine Frage beantwortet. Es kann etwas zählen. Diese Lektion zählt die Wörter, die ein Abschnitt mit der Frage gemeinsam hat, nach einer exakten Regel, sodass dieselbe Frage und derselbe Abschnitt immer dieselbe Punktzahl bekommen.

Die Regel

words(text) macht aus einem beliebigen Text ein Set von Wörtern:

  1. Wandle den Text in Kleinbuchstaben um, damit List und list dasselbe Wort sind.

  2. Ersetze jedes Zeichen aus PUNCTUATION durch ein Leerzeichen. PUNCTUATION ist eine Konstante oben in retrieval.py: .,:;!?"', der Backtick, Klammern jeder Art und <>#*=+-/. Gehe in einer Schleife Zeichen für Zeichen darüber, mit text = text.replace(character, " ").

  3. Teile das Ergebnis mit .split() ohne Argument auf. Das teilt an jeder Folge von Leerzeichen, Tabs und Zeilenumbrüchen und liefert nie ein leeres Wort.

  4. Behalte jedes Wort, das nicht in STOP_WORDS steht, und gib die behaltenen Wörter als Set zurück.

STOP_WORDS enthält Wörter wie the, how, of, what und note, die in fast jeder Frage und jedem Absatz vorkommen. Würden sie mitzählen, sähe jeder Abschnitt relevant aus. Ein Set enthält jedes Wort nur einmal, egal wie oft der Text es wiederholt.

score_chunk(question, text) ist dann die Anzahl der Wörter aus words(question), die auch in words(text) vorkommen. Gehe in einer Schleife über die Wörter der Frage und zähle 1 für jedes, das im Set des Abschnitts steht.

Warum Satzzeichen zu Leerzeichen werden

Die Notizen sind voller Code, und Code klebt Wörter mit Satzzeichen zusammen. Wenn du jedes Satzzeichen durch ein Leerzeichen ersetzt, werden sie getrennt:

text = "Use `scores.copy()` or `list(scores)`."
for character in ".()`":
    text = text.replace(character, " ")
print(text.split())

Punkt, Klammern und Backticks sind weg, also sind copy und list eigene Wörter und können zu einer Frage passen, die danach fragt, wie man eine Liste kopiert. Würdest du Satzzeichen nur an den Enden jedes Wortes entfernen, bliebe scores.copy ein einziges Wort, und das enthält keine Frage.

Auch der Bindestrich steht in PUNCTUATION, also wird aus der Notiz-ID 03-lists die beiden Wörter 03 und lists. Der Unterstrich steht nicht darin, also bleibt ein Name wie max_messages ein Wort.

Was die Regel nicht kann

Die Regel vergleicht die Schreibweise, nicht die Bedeutung. tuples passt nicht zu tuple, und change passt nicht zu changes. Eine Frage mit „duplicate“ findet keinen Absatz, in dem „copy“ steht. Das ist der Preis für eine Regel, die du in vier Zeilen lesen kannst. Kapitel 12 erklärt Embeddings, die stattdessen nach Bedeutung vergleichen.

Baue words und score_chunk

Schreibe beide in retrieval.py nach der Regel oben. Verwende PUNCTUATION und STOP_WORDS über ihren Namen: Die Prüfungen geben ihnen andere Werte, um sicherzustellen, dass deine Funktionen sie lesen. score_chunk soll beide Wort-Sets mit deiner Funktion words bilden.

Ausführen

Führe python retrieval.py aus. Die Demonstration gibt die Wörter der Kopierfrage aus, sortiert, damit die Ausgabe jedes Mal gleich ist (ein Set hat keine feste Reihenfolge), und dazu die Punktzahlen zweier Abschnitte:

The words of the question, sorted: ['copy', 'independent', 'list', 'make']
03-lists#4 scores 3
01-variables#2 scores 2
Run stopped at the next function to build: best_chunks is built in Lesson 4.

How, do, I, an, of und a sind Stoppwörter, und das Fragezeichen ist ein Satzzeichen, also bleiben vier Wörter übrig. 03-lists#4 enthält copy (aus scores.copy()), list und independent: 3. 01-variables#2 sagt „Assignment does not copy anything“ und spricht über dieselbe list: 2. Dieser Abschnitt hat Wörter mit der Frage gemeinsam, ohne sie zu beantworten. Das ist beim Wortvergleich normal und der Grund, warum die nächste Lektion ein paar Abschnitte behält und nicht nur einen.

Die Frage lautet „list“, und ein Abschnitt enthält „list“ dreimal. Was gibt score_chunk zurück?

Ein Abschnitt sagt „A tuple cannot change.“ Warum bekommt er für die Frage „Tell me about tuples.“ die Punktzahl 0?

Aufgabe

Ersetze in retrieval.py die unfertigen Rümpfe von zwei Funktionen.

  • words(text): Wandle text in Kleinbuchstaben um; ersetze jedes Zeichen aus PUNCTUATION durch ein Leerzeichen, mit .replace in einer Schleife; teile das Ergebnis mit .split() ohne Argument auf; gib die Wörter, die nicht in STOP_WORDS stehen, als Set zurück.

  • score_chunk(question, text): Gib zurück, wie viele Wörter aus words(question) auch in words(text) vorkommen.

Verwende PUNCTUATION und STOP_WORDS des Moduls über ihren Namen; die Prüfungen ändern sie. Führe python retrieval.py aus, um die Punktzahlen zweier Abschnitte zu sehen, und prüfe dann deine Arbeit.