Abschlussprojekt
Deine Eval ausführen und das Ergebnis lesen
Der Lernassistent ist fertig, und er hat zwei Arten von Prüfung. Die Tests aus Kapitel 10 sagen, ob der Code tut, was er soll. Die Eval sagt, wie oft das Retrieval die richtige Notiz findet und wie oft die Antwort sie zitiert. Diese Lektion führt die Eval mit den Einstellungen des Programms aus, nimmt zwei Änderungen vor, mit denen man es verbessern wollen könnte, und liest, was die Zahlen sagen und was nicht.
Ausführen
Führe python stages.py aus. Nach dem Block von Lektion 6 führt stages.py die Eval dreimal aus, mit run_eval und print_eval aus Kapitel 10 in evals.py:
Lesson 8: the eval with the capstone's settings
K = 3, MIN_SCORE = 2: retrieval 9 of 10, citations 7 of 10, 3148 tokens
missed: Why should a default argument never be a list?
missed: How does pytest find my tests?
missed: How do I filter items with a list comprehension?
k = 5: retrieval 10 of 10, citations 7 of 10, 4084 tokens
missed: Why should a default argument never be a list?
missed: How does pytest find my tests?
missed: How do I filter items with a list comprehension?
MIN_SCORE = 1: retrieval 9 of 10, citations 8 of 10, 3460 tokens
missed: Why should a default argument never be a list?
missed: How do I filter items with a list comprehension?
Die erste Zeile ist das Programm, wie es ist: K ist 3 und MIN_SCORE ist 2 in retrieval.py, und die Systemnachricht ist GROUNDED_SYSTEM. Das ist das Ergebnis aus Kapitel 10: Das Retrieval hat bei 9 der 10 Fragen die erwartete Notiz gefunden, und 7 Antworten haben sie zitiert.
Der zweite Lauf übergibt k=5 an run_eval, sodass jede Frage die besten fünf Passagen statt drei bekommt. Der dritte setzt retrieval.MIN_SCORE = 1 für einen Lauf und stellt den Wert danach zurück, sodass eine Frage, deren beste Passage nur ein Wort mit ihr gemeinsam hat, beantwortet wird, statt „Ich weiß es nicht“ zu bekommen. Diese Zuweisung steht in vorgegebenem Code, den du nur liest, und ist für dieses Experiment gemacht.
Ein größeres k
Mit fünf Passagen hat das Retrieval bei allen zehn Fragen die erwartete Notiz gefunden. Die, die es verfehlt hatte, How do I filter items with a list comprehension?, braucht die Notiz zu Comprehensions, deren Passagen 2 Punkte bekamen und auf Platz vier und fünf landeten: Das Wort comprehension aus der Frage passt nicht zu comprehensions aus der Notiz, also lagen andere Passagen mit zwei gemeinsamen Wörtern vor ihnen.
Die Punktzahl für Quellenangaben hat sich nicht bewegt. Die Antwort auf diese Frage sagt immer noch, dass die Quellen sie nicht beantworten. Eine Passage zu finden und sie zu verwenden sind zwei verschiedene Dinge, und deshalb hat die Eval zwei Punktzahlen. Beim geskripteten Modell ist die Antwort eine feste Zeile, also hätte nichts an den Passagen sie ändern können. Bei einem Live-Modell könnten die zusätzlichen Passagen helfen, oder auch nicht: Um das zu sagen, bräuchte es mehrere Live-Läufe.
Was k = 5 sicher bewirkt hat: Es hat mehr gekostet. Jeder fundierte Prompt enthält jetzt fünf Passagen statt drei, also hat der Lauf 4084 Tokens statt 3148 verbraucht, etwa 30% mehr, und das bei jeder Frage, auch bei den acht, die schon gut beantwortet wurden.
Eine niedrigere Schwelle
Mit MIN_SCORE = 1 wird die pytest-Frage nicht mehr abgewiesen. Ihre beste Passage, 12-testing#1, hat ein Wort mit der Frage gemeinsam, also fragt das Programm jetzt das Modell, und die Antwort des geskripteten Modells zitiert 12-testing#1. Die Quellenangaben stiegen von 7 auf 8.
Die Kosten sind der Grund, warum es die Schwelle gibt. Kapitel 8 hat sie auf 2 gesetzt, weil eine Passage, die nur ein einziges Wort mit einer Frage gemeinsam hat, oft von etwas anderem handelt, und ein Modell, das schwache Passagen bekommt, neigt dazu, stattdessen aus dem Gedächtnis zu antworten. Genau das soll die Fundierung verhindern. Eine niedrigere Schwelle sendet außerdem für jeden schwachen Treffer eine Anfrage, samt ihren Tokens. Hier hat eine Frage gewonnen; bei echten Nutzern würden viele Fragen, die „Ich weiß es nicht“ bekommen sollten, stattdessen eine Antwort bekommen.
Was hier eine echte Messung ist
Die Retrieval-Punktzahl ist eine echte Messung, sogar mit dem geskripteten Modell. Sie wird von deinem eigenen Code berechnet, best_chunks über die zwölf echten Notizen, also findet k = 5 die Notiz zu Comprehensions wirklich, und das gälte mit jedem Modell.
Die Punktzahl für Quellenangaben ist das mit dem geskripteten Modell nicht. Seine Antworten sind feste Zeilen, geschrieben, um zu zeigen, was eine Eval erkennen kann; echt ist daran nur, ob eine Frage überhaupt gesendet wurde, und deshalb hat MIN_SCORE = 1 sie bewegt. Um zu beurteilen, ob eine Änderung die Antworten besser macht, führe die Eval mit einem Live-Modell aus, mehrmals, mit einer größeren Menge an Fragen, und behalte eine Änderung nur, wenn sie jedes Mal klar gewinnt. Kapitel 10, Lektion 7 hat gezeigt, wie du die Eval gegen pl-live ausführst und was das an täglichen Anfragen kostet.
Die Eval hat auch eine eigene Grenze. Sie bewertet die Antwortmethode aus Kapitel 8, bei der das Programm die Passagen auswählt. Der Agent von ask schreibt seine eigene Suchanfrage, also misst die Eval das Retrieval, das ask verwendet, nicht jeden Schritt von ask.
Zu Hause stehen K und MIN_SCORE oben in retrieval.py. K bestimmt, wie viele Passagen search_notes an den Agenten von ask zurückgibt und wie viele die Eval sendet. MIN_SCORE bestimmt, wann answer_from_notes aus Kapitel 8 und die Eval „Ich weiß es nicht“ antworten; in ask entscheidet das Modell das selbst anhand dessen, was seine Suchen zurückgegeben haben. Ändere einen der Werte, führe die Eval aus und lies beide Punktzahlen, bevor du die Änderung behältst.
Mit k = 5 ging das Retrieval von 9 auf 10 von 10, und die Quellenangaben blieben bei 7. Was sagt das?
Das Senken von MIN_SCORE von 2 auf 1 hat die pytest-Frage gerettet. Was kostet das?
Eine Eval des Lernassistenten läuft mit dem geskripteten Modell und meldet eine Retrieval-Punktzahl und eine Punktzahl für Quellenangaben. Welche ist eine echte Messung?