0%

Antwoorden uit je notities · oefening

Geef een fragment een score voor een vraag

Een programma kan een fragment niet vragen of het een vraag beantwoordt. Het kan wel iets tellen. Deze les telt de woorden die een fragment met de vraag deelt, met één exacte regel, zodat dezelfde vraag en hetzelfde fragment altijd dezelfde score krijgen.

De regel

words(text) maakt van elke tekst een set woorden:

  1. Zet de tekst om naar kleine letters, zodat List en list hetzelfde woord zijn.

  2. Vervang elk teken van PUNCTUATION door een spatie. PUNCTUATION is een constante bovenaan retrieval.py: .,:;!?"', de backtick, haakjes van elke soort, en <>#*=+-/. Loop er teken voor teken overheen met text = text.replace(character, " ").

  3. Splits het resultaat met .split(), zonder argument. Dat splitst op elke reeks spaties, tabs en regeleinden en geeft nooit een leeg woord.

  4. Houd elk woord dat niet in STOP_WORDS staat, en geef de gehouden woorden terug als set.

STOP_WORDS bevat woorden zoals the, how, of, what en note die in bijna elke vraag en elke alinea voorkomen. Matchen op die woorden zou elk fragment relevant laten lijken. Een set bewaart elk woord één keer, hoe vaak de tekst het ook herhaalt.

score_chunk(question, text) is dan het aantal woorden van words(question) dat ook in words(text) zit. Loop over de woorden van de vraag en tel 1 op voor elk woord dat in de set van het fragment zit.

Waarom leestekens spaties worden

De notities staan vol code, en code plakt woorden aan elkaar met leestekens. Door elk leesteken door een spatie te vervangen, trek je ze uit elkaar:

text = "Use `scores.copy()` or `list(scores)`."
for character in ".()`":
    text = text.replace(character, " ")
print(text.split())

De punt, de haakjes en de backticks zijn weg, dus copy en list zijn losse woorden en kunnen matchen met een vraag over hoe je een lijst kopieert. Als je leestekens alleen aan de uiteinden van elk woord weghaalt, blijft scores.copy één woord, en dat komt in geen enkele vraag voor.

Het koppelteken staat ook in PUNCTUATION, dus het notitie-id 03-lists wordt de twee woorden 03 en lists. Het liggende streepje (underscore) niet, dus een naam zoals max_messages blijft één woord.

Wat de regel niet kan

De regel matcht op spelling, niet op betekenis. tuples matcht niet met tuple, en change niet met changes. Een vraag met “duplicate” vindt geen alinea met “copy”. Dat is de prijs van een regel die je in vier regels kunt lezen, en hoofdstuk 12 legt embeddings uit, die in plaats daarvan op betekenis matchen.

Bouw words en score_chunk

Schrijf beide in retrieval.py volgens de regel hierboven. Gebruik PUNCTUATION en STOP_WORDS bij naam: de controles geven ze andere waarden om na te gaan of je functies ze echt lezen. score_chunk moet beide woordsets bouwen met je functie words.

Voer het uit

Voer python retrieval.py uit. De demonstratie drukt de woorden van de kopieervraag af, gesorteerd zodat de uitvoer elke keer hetzelfde is (een set heeft geen vaste volgorde), en de scores van twee fragmenten:

The words of the question, sorted: ['copy', 'independent', 'list', 'make']
03-lists#4 scores 3
01-variables#2 scores 2
Run stopped at the next function to build: best_chunks is built in Lesson 4.

How, do, I, an, of en a zijn stopwoorden, en het vraagteken is een leesteken, dus blijven er vier woorden over. 03-lists#4 bevat copy (uit scores.copy()), list en independent: 3. 01-variables#2 zegt “Assignment does not copy anything” en gaat over dezelfde list: 2. Het deelt woorden met de vraag zonder haar te beantwoorden. Dat is normaal bij het matchen van woorden, en daarom houdt de volgende les een paar fragmenten over, niet maar één.

De vraag is "list" en een fragment zegt drie keer "list". Wat geeft score_chunk terug?

Een fragment zegt "A tuple cannot change." Waarom scoort het 0 voor de vraag "Tell me about tuples."?

Opdracht

Vervang in retrieval.py de onafgemaakte bodies van twee functies.

  • words(text): zet text om naar kleine letters; vervang elk teken van PUNCTUATION door een spatie, met .replace in een lus; splits het resultaat met .split() zonder argument; geef de woorden die niet in STOP_WORDS staan terug als set.

  • score_chunk(question, text): geef terug hoeveel woorden van words(question) ook in words(text) zitten.

Gebruik PUNCTUATION en STOP_WORDS van de module bij naam; de controles veranderen ze. Voer python retrieval.py uit om de scores van twee fragmenten te zien, en controleer daarna je werk.