Antwoorden uit je notities · oefening
Geef een fragment een score voor een vraag
Een programma kan een fragment niet vragen of het een vraag beantwoordt. Het kan wel iets tellen. Deze les telt de woorden die een fragment met de vraag deelt, met één exacte regel, zodat dezelfde vraag en hetzelfde fragment altijd dezelfde score krijgen.
De regel
words(text) maakt van elke tekst een set woorden:
Zet de tekst om naar kleine letters, zodat
Listenlisthetzelfde woord zijn.Vervang elk teken van
PUNCTUATIONdoor een spatie.PUNCTUATIONis een constante bovenaanretrieval.py:.,:;!?"', de backtick, haakjes van elke soort, en<>#*=+-/. Loop er teken voor teken overheen mettext = text.replace(character, " ").Splits het resultaat met
.split(), zonder argument. Dat splitst op elke reeks spaties, tabs en regeleinden en geeft nooit een leeg woord.Houd elk woord dat niet in
STOP_WORDSstaat, en geef de gehouden woorden terug als set.
STOP_WORDS bevat woorden zoals the, how, of, what en note die in bijna elke vraag en elke alinea voorkomen. Matchen op die woorden zou elk fragment relevant laten lijken. Een set bewaart elk woord één keer, hoe vaak de tekst het ook herhaalt.
score_chunk(question, text) is dan het aantal woorden van words(question) dat ook in words(text) zit. Loop over de woorden van de vraag en tel 1 op voor elk woord dat in de set van het fragment zit.
Waarom leestekens spaties worden
De notities staan vol code, en code plakt woorden aan elkaar met leestekens. Door elk leesteken door een spatie te vervangen, trek je ze uit elkaar:
text = "Use `scores.copy()` or `list(scores)`."
for character in ".()`":
text = text.replace(character, " ")
print(text.split())
De punt, de haakjes en de backticks zijn weg, dus copy en list zijn losse woorden en kunnen matchen met een vraag over hoe je een lijst kopieert. Als je leestekens alleen aan de uiteinden van elk woord weghaalt, blijft scores.copy één woord, en dat komt in geen enkele vraag voor.
Het koppelteken staat ook in PUNCTUATION, dus het notitie-id 03-lists wordt de twee woorden 03 en lists. Het liggende streepje (underscore) niet, dus een naam zoals max_messages blijft één woord.
Wat de regel niet kan
De regel matcht op spelling, niet op betekenis. tuples matcht niet met tuple, en change niet met changes. Een vraag met “duplicate” vindt geen alinea met “copy”. Dat is de prijs van een regel die je in vier regels kunt lezen, en hoofdstuk 12 legt embeddings uit, die in plaats daarvan op betekenis matchen.
Bouw words en score_chunk
Schrijf beide in retrieval.py volgens de regel hierboven. Gebruik PUNCTUATION en STOP_WORDS bij naam: de controles geven ze andere waarden om na te gaan of je functies ze echt lezen. score_chunk moet beide woordsets bouwen met je functie words.
Voer het uit
Voer python retrieval.py uit. De demonstratie drukt de woorden van de kopieervraag af, gesorteerd zodat de uitvoer elke keer hetzelfde is (een set heeft geen vaste volgorde), en de scores van twee fragmenten:
The words of the question, sorted: ['copy', 'independent', 'list', 'make']
03-lists#4 scores 3
01-variables#2 scores 2
Run stopped at the next function to build: best_chunks is built in Lesson 4.
How, do, I, an, of en a zijn stopwoorden, en het vraagteken is een leesteken, dus blijven er vier woorden over. 03-lists#4 bevat copy (uit scores.copy()), list en independent: 3. 01-variables#2 zegt “Assignment does not copy anything” en gaat over dezelfde list: 2. Het deelt woorden met de vraag zonder haar te beantwoorden. Dat is normaal bij het matchen van woorden, en daarom houdt de volgende les een paar fragmenten over, niet maar één.
De vraag is "list" en een fragment zegt drie keer "list". Wat geeft score_chunk terug?
Een fragment zegt "A tuple cannot change." Waarom scoort het 0 voor de vraag "Tell me about tuples."?
Opdracht
Vervang in retrieval.py de onafgemaakte bodies van twee functies.
words(text): zettextom naar kleine letters; vervang elk teken vanPUNCTUATIONdoor een spatie, met.replacein een lus; splits het resultaat met.split()zonder argument; geef de woorden die niet inSTOP_WORDSstaan terug als set.score_chunk(question, text): geef terug hoeveel woorden vanwords(question)ook inwords(text)zitten.
Gebruik PUNCTUATION en STOP_WORDS van de module bij naam; de controles veranderen ze. Voer python retrieval.py uit om de scores van twee fragmenten te zien, en controleer daarna je werk.