Gesprekken en instructies · oefening
Houd de geschiedenis binnen budget
Een geschiedenis die eindeloos groeit, wordt uiteindelijk te duur om te sturen, en daarna te lang om door het model gelezen te worden. De oplossing is minder sturen: bewaar wat ertoe doet en laat de oudste beurten vallen. Deze les bouwt trim_history(history, max_messages), dat dat volgens een precieze regel doet.
Echte programma’s korten meestal in door tokens te tellen, omdat het contextvenster en de rekening in tokens worden gemeten. Deze cursus telt in plaats daarvan berichten, zodat je elk resultaat op je vingers kunt natellen. Het idee achter de regel is in beide gevallen hetzelfde.
Hoe een geschiedenis eruitziet
De regel hangt af van de vorm van een geschiedenis, dus hier is die precies. Een geschiedenis is:
eerst een optioneel systeembericht;
daarna volledige beurten, elk een
user-bericht gevolgd door eenassistant-bericht;eventueel eindigend met één
user-bericht dat nog geen antwoord heeft. Noem dat een openstaande vraag (pending question). Die voegtnext_requesttoe als het een request bouwt.
In de voorbeelden hieronder is S het systeembericht, zijn U1 en A1 het gebruikers- en assistant-bericht van de eerste beurt, en is P een openstaande vraag.
De regel
Een
max_messagesonder 1 werptValueErrorop. Een limiet van nul of minder is een fout in de aanroepende code, en dat meteen melden is beter dan iets vreemds teruggeven.De geschiedenis heeft de vorm die hierboven is beschreven.
Het systeembericht, als dat er is, blijft altijd behouden. Het bevat je instructies, en het weglaten zou veranderen hoe het model zich gedraagt.
De nieuwste berichten zijn beschermd: de openstaande vraag als die er is, anders de laatste beurt van gebruiker en assistent. Zonder die berichten is er niets voor het model om te beantwoorden, of niets recents om vanuit te antwoorden.
Zolang de lijst langer is dan
max_messagesen er vóór de beschermde berichten een oudere beurt staat, laat je de oudste beurt vallen, beide berichten samen.Geef altijd een nieuwe lijst terug, ook als er niets wegvalt. Als de limiet niet te halen is, is het resultaat het systeembericht plus de beschermde berichten.
Stap 5 laat hele beurten vallen omdat een halve beurt het model misleidt. Een antwoord zonder zijn vraag, of een vraag waarvan het antwoord is weggevallen, laat de geschiedenis iets zeggen wat nooit is gebeurd.
Zo pakt de regel uit:
| Geschiedenis | max_messages | Resultaat |
|---|---|---|
| S U1 A1 | 9 | S U1 A1, als nieuwe lijst |
| S U1 A1 U2 A2 U3 A3 U4 A4 | 9 | ongewijzigd, als nieuwe lijst, omdat precies 9 past |
| S U1 A1 U2 A2 U3 A3 U4 A4 U5 A5 | 9 | S U2 A2 U3 A3 U4 A4 U5 A5 |
| S U1 A1 U2 A2 U3 A3 U4 A4 P | 9 | S U2 A2 U3 A3 U4 A4 P |
| U1 A1 U2 A2 U3 A3 | 4 | U2 A2 U3 A3 |
| U1 A1 U2 A2 U3 A3 P | 4 | U3 A3 P |
| S U1 A1 U2 A2 P | 2 | S P |
| S U1 A1 | 1 | S U1 A1, omdat de limiet niet te halen is |
| S | 3 | S |
| (leeg) | 3 | (leeg) |
Kijk naar de vierde rij. Tien berichten is er één te veel, maar de regel kan er alleen twee tegelijk laten vallen, dus het resultaat heeft 8 berichten, geen 9. Met een systeembericht en een openstaande vraag heeft de lijst altijd een even lengte, dus een limiet van 9 geeft hoogstens 8 berichten. Dat is de bedoeling, geen bug.
Hier is die vierde rij als afbeelding. Kijk naar de twee uiteinden, die nooit bewegen, en naar de oudste beurt, die als paar vertrekt.

Bouw het
Zo kun je de functie opzetten. Elk commentaar staat voor een of een paar regels code:
def trim_history(history, max_messages):
# Raise ValueError if max_messages is below 1.
# If the first message is a system message, keep it aside; the rest are the turns.
# Protect one message if the turns end with a user message, otherwise two.
# While the total is too long and an older turn remains in front of the
# protected messages, drop the oldest turn: the first two of the turns.
# Return the system message (if any) followed by the remaining turns.
Een slice laat de oudste beurt vallen en bouwt tegelijk een nieuwe lijst, dus de lijst van de aanroeper verandert nooit:
turns = ["U1", "A1", "U2", "A2", "P"]
turns = turns[2:]
print(turns)
Het totaal in de voorwaarde van de lus omvat het systeembericht, dus tel dat mee als je vergelijkt met max_messages. En als history zonder systeembericht begint, hoort elk bericht erin bij de beurten.
Een geschiedenis kan leeg zijn, of alleen het systeembericht bevatten, zodat er geen beurten zijn. Controleer of een lijst elementen heeft voordat je het eerste of laatste bericht leest.
Toets je functie aan de tabel hierboven voordat je je werk controleert. Een paar gevallen vangen de meeste fouten: de vierde rij, waar het resultaat 8 is en niet 9; de tweede rij, die precies op de limiet zit en blijft zoals die is; de rij S U1 A1 | 1, waar de limiet niet te halen is en er niets meer kan wegvallen; en de laatste twee rijen, waar de geschiedenis al past en een ervan leeg is.
Zie het inkorten
Voer python conversation.py uit. De demonstratie uit les 3 bouwde een lang gesprek, vijf verzonnen beurten na het studiesysteembericht, en stuurde nog één vraag. Nu stuurt ze dezelfde berichten een tweede keer, ingekort met MAX_MESSAGES, dat 9 is:
After trimming:
[pl-scripted echo] No scripted reply matches this prompt, so here is what I received.
Messages: 8
System message: You are a patient Python tutor. Answer only questions about the course notes and Python. If a question is about something else, say so and suggest a Python topic instead.
Last user message: How many messages did you get?
A note sent with a question:
Run stopped at the next function to build: note_message is built in Lesson 7.
Er gingen twaalf berichten in en acht bereikten het model: het systeembericht, de laatste drie beurten en de openstaande vraag. Het systeembericht bleef staan en de vraag is nog steeds de laatste.
Een geschiedenis is S U1 A1 U2 A2 U3 A3 P, en max_messages is 6. Wat geeft trim_history terug?
Met een systeembericht, een openstaande vraag en max_messages 9 wordt een lange geschiedenis ingekort tot 8 berichten. Waarom geen 9?
Opdracht
Vervang in conversation.py de onafgemaakte body van trim_history(history, max_messages) zodat die de regel uit de les volgt:
Een
max_messagesonder 1 werptValueErrorop.Een geschiedenis is een optioneel systeembericht, daarna volledige beurten van gebruiker en assistent, eventueel eindigend met één openstaand gebruikersbericht.
Het systeembericht, als dat er is, blijft altijd behouden.
De nieuwste berichten zijn beschermd: de openstaande vraag als die er is, anders de laatste beurt van gebruiker en assistent.
Zolang de lijst langer is dan
max_messagesen er vóór de beschermde berichten een oudere beurt bestaat, laat je de oudste beurt vallen, beide berichten samen.Geef elke keer een nieuwe lijst terug, en verander nooit de lijst die je kreeg. Als de limiet niet te halen is, geef je het systeembericht plus de beschermde berichten terug.
Voer python conversation.py uit om het aantal berichten voor en na het inkorten te zien, en controleer daarna je werk.