0%

LLM-code testen · eindproject

Eindproject: Project: tests voor de studieassistent

Les 2 tot en met 5 testten elk één functie met één techniek. Het eindproject in het volgende hoofdstuk zet het gesprek, de ophaaltool en de agentlus achter één , en je blijft ze veranderen. Een testsuite die zou merken dat ze stukgaan, maakt die wijzigingen veilig. In dit project schrijf je die suite.

De opdracht

Schrijf tests/test_study_assistant.py, met tests voor drie functies:

  • trim_history(history, max_messages) in conversation.py, het inkorten uit hoofdstuk 2: geeft een nieuwe lijst terug die een systeembericht aan het begin houdt, de oudste volledige beurten (een gebruikersbericht en het antwoord erop) weglaat totdat de geschiedenis in max_messages past, en nooit de nieuwste vraag weglaat.

  • search_notes(arguments) in retrieval.py, de tool uit hoofdstuk 8: geeft voor arguments["query"] de beste K passages uit de meegeleverde notities terug, elk beginnend met zijn label tussen vierkante haken, zoals [03-lists#4], gescheiden door lege regels, of No note matches that search. als geen enkele passage een woord gemeen heeft met de zoekopdracht.

  • De definitieve run_agent(question, *, client, tools, system, approve, max_steps, budget, sleep) in reliable.py, zoals in les 3 en 5. Die stopt met "answered", "budget", "stuck" of "max_steps", vraagt approve om toestemming voordat hij save_flashcard uitvoert, en legt per stap de total_tokens vast in de trace.

De suite moet slagen tegen de correcte code en falen tegen elk van deze elf defecten:

  1. trim_history laat het systeembericht samen met oude beurten weg;

  2. trim_history laat één bericht tegelijk weg in plaats van volledige beurten;

  3. trim_history kort de lijst van de aanroeper ter plekke in en geeft die terug;

  4. search_notes geeft elk overeenkomend fragment terug, niet de beste K;

  5. search_notes laat het [label] aan het begin van elke passage weg;

  6. search_notes geeft "" terug in plaats van No note matches that search.;

  7. run_agent negeert max_steps;

  8. run_agent laat BudgetExceeded ontsnappen in plaats van stopreden "budget" terug te geven;

  9. run_agent stopt een herhaalde aanroep nooit ("stuck");

  10. run_agent voert save_flashcard uit zonder goedkeuring;

  11. run_agent legt per stap de prompttokens vast in de trace in plaats van het totaal.

Elk defect is iets wat een vermoeid iemand echt zou kunnen schrijven, en bij elk ervan zou de studieassistent er bij de meeste vragen goed uitzien. Eén test kan er meer dan één vangen, en één defect kan een eigen test nodig hebben.

Wat je nodig hebt

Een geschiedenis om in te korten. Schrijf die in het testbestand uit als een lijst dictionaries: een systeembericht, dan beurten, eindigend met een gebruikersbericht. Zes berichten ingekort tot 5 is een goede case, omdat bij een oneven limiet het weglaten van één bericht tegelijk en het weglaten van volledige beurten verschillende resultaten geven. Reken met de hand uit welke berichten over moeten blijven voordat je de assertion schrijft.

Tests van search_notes lezen de meegeleverde notities, via Path("notes"), relatief ten opzichte van de projectmap, net als de opnames uit les 4. Assert dus op de structuur van het resultaat in plaats van op volledige passages, die stukgaan zodra iemand een notitie bewerkt: splits het op "\n\n", controleer dat er K passages zijn, drie met de meegeleverde instellingen, en controleer hoe de eerste begint. Voor de zoekopdracht independent copy of a list is de beste passage 03-lists#4. Voor capital of France komt geen notitie overeen.

Je eigen tools voor run_agent. Geef de agent, net als in les 3 en 5, kleine eigen toolfuncties onder echte toolnamen: een read_note die een vaste string teruggeeft, en een save_flashcard die "Saved." teruggeeft zonder iets te schrijven. Een geweigerde aanroep voert de tool nooit uit; het resultaat ervan in de trace is Error: save_flashcard was not approved, so it did not run. Schrijf toolargumenten uit als letterlijke strings, zoals '{"note_id": "n1"}'.

Een budget dat op het juiste moment opraakt. call_model weigert een aanroep als de schatting groter is dan wat er over is (hoofdstuk 9, les 6): het aantal tekens van elk bericht waarvan de content een string is, gedeeld door 4, plus 800 voor het antwoord. Met het systeembericht "S" en de vraag "Q?" is de schatting van de eerste stap 3 / 4 + 800 = 800.75. Als het eerste antwoord om één tool vraagt waarvan het resultaat 10 tekens lang is, zoals "Ten chars.", voegt het tweede request de assistant-beurt toe (content None, telt niet mee) en het toolbericht, dus de schatting is 13 / 4 + 800 = 803.25. Na een eerste antwoord van 15 tokens laat een limiet van 810 er 795 over, dus de tweede aanroep wordt geweigerd en de stopreden is "budget". Een limiet van 850 laat er 835 over, en de agent antwoordt.

Voer de suite uit

Voer je suite in de uit terwijl je hem schrijft:

python -m pytest -q tests/test_study_assistant.py

De referentiesuite voor dit project heeft 13 tests. Die van jou mag er meer of minder hebben:

.............                                                            [100%]
13 passed in 0.23s

python -m pytest -q zonder bestand voert dit bestand samen met die van les 2 tot en met 5 uit.

Twee manieren om je te laten misleiden, net als in het project van Python in de praktijk. Een suite die altijd rood is, vangt niets; die is gewoon kapot. En een rood resultaat omdat pytest het bestand niet kon verzamelen, of een module niet kon importeren, heeft je niets verteld over welk defect dan ook. Controleer dat de suite groen is op de correcte code voordat je een rode uitslag gelooft.

Als je een test een defect wilt zien vangen, kun je er zelf een maken: verander in jouw kopie van conversation.py in trim_history de regel turns = turns[2:] in turns = turns[1:], voer de suite uit, lees welke test faalde en waarom, en zet het daarna terug. Bij het controleren van je werk worden eigen kopieën gebruikt, dus dit kan je beoordeling niet beïnvloeden.

Hoe je suite wordt gecontroleerd

Net zoals Python in de praktijk de suite van zijn project controleerde. tests/test_study_assistant.py wordt met pytest uitgevoerd, met een tijdslimiet, in een alleen-lezen kopie van het project die de eigen kopieën van de controle bevat van elk cursusbestand, fakes.py, de meegeleverde notities en de opnames. De suite moet:

  • zonder fouten worden verzameld, met minstens één test;

  • twee keer slagen op de correcte code;

  • de projectmap ongewijzigd laten, dus een test schrijft alleen bestanden onder tmp_path;

  • nooit llm-api aanroepen;

  • falen op elk van de elf defecten, die elk worden geïnstalleerd door één functie in de kopie van de controle te vervangen.

Een defect telt alleen als gevangen wanneer een falende test de vervangen functie aanriep, dus een suite die om een andere reden faalt, krijgt geen punten. De feedback noemt het eerste defect dat geen test ving, in de woorden van de lijst hierboven, met een hint voor de test die het zou vangen.

Waarom kort je een geschiedenis van zes berichten in tot 5 en niet tot 4?

Je suite faalt op de correcte code omdat pytest een module niet kon importeren. Wat heeft dat je verteld over de elf defecten?

Opdracht

Schrijf tests/test_study_assistant.py met tests voor trim_history (conversation.py), search_notes (retrieval.py, leest de meegeleverde notities) en run_agent (reliable.py). De suite moet slagen op de correcte code en falen op elk van de elf defecten uit de les: drie in trim_history, drie in search_notes en vijf in run_agent.

Gebruik een FakeClient en je eigen toolfuncties voor run_agent, schrijf toolargumenten als letterlijke strings, gebruik paden relatief ten opzichte van de projectmap en schrijf alleen bestanden onder tmp_path. Voer python -m pytest -q tests/test_study_assistant.py uit in de totdat hij groen is en controleer daarna je werk.