0%

Gesprekken en instructies · eindproject

Eindproject: Project: een studiechat die bij het onderwerp blijft

Je hebt alle onderdelen van een studiechat: een systeembericht, functies die een geschiedenis met hele beurten laten groeien, en een inkorting die haar binnen budget houdt. Dit project voegt ze samen tot één functie, chat_turn, die een chatprogramma één keer per vraag kan aanroepen:

history = []
reply, history = chat_turn(history, "What does len() return?")
reply, history = chat_turn(history, "What's the weather like today?")

Het tweede antwoord blijft bij Python, omdat chat_turn ervoor zorgt dat het studiesysteembericht eerst komt. De aanroeper bewaart alleen history en geeft die weer mee. Hij hoeft er nooit aan te denken het systeembericht toe te voegen, in te korten of een requestbody te bouwen.

Je schrijft twee functies. prepare_messages beslist wat er verstuurd wordt, en chat_turn verstuurt het en bouwt de nieuwe geschiedenis.

prepare_messages(history, question)

Deze functie geeft de lijst berichten terug die voor een nieuwe vraag verstuurd moet worden:

  1. Begin met een kopie van history, zodat de lijst van de aanroeper nooit verandert.

  2. Als de kopie leeg is, of het eerste bericht geen system-bericht is, zet je system_message() ervoor. Als de geschiedenis al met een systeembericht begint, laat je dat zoals het is, ook als de tekst verschilt van STUDY_SYSTEM: een aanroeper die zijn eigen instructies koos, moet die ook krijgen.

  3. Voeg de vraag toe met next_request, en neem de "messages" uit de body die het teruggeeft.

  4. Geef die berichten terug, ingekort met trim_history(messages, MAX_MESSAGES).

Voer de stappen in deze volgorde uit: eerst het systeembericht erin, dan inkorten. Als je eerst inkortte, zou het systeembericht er pas daarna bijkomen, zonder meegeteld te zijn, en een lijst die net binnen de limiet paste, zou er één overheen gaan.

chat_turn(history, question, *, session=None)

Deze functie stelt de vraag en geeft twee dingen terug, de antwoordtekst en de nieuwe geschiedenis, als tuple:

  1. messages = prepare_messages(history, question).

  2. Stuur {"model": MODEL, "messages": messages} met send_body, en geef session=session door, zoals ask_model doet.

  3. Lees het antwoord met answer_text.

  4. Geef (reply, add_turn(messages[:-1], question, reply)) terug.

De laatste stap verdient een nadere blik. messages eindigt met de vraag als openstaand gebruikersbericht, omdat dat is wat er verstuurd werd. messages[:-1] is alles behalve dat laatste bericht, en add_turn voegt de vraag weer toe, samen met het antwoord, als één volledige beurt. De nieuwe geschiedenis is dus wat er echt verstuurd werd, al ingekort, plus de afgeronde beurt.

chat_turn vangt niets af. Als het request mislukt, bereikt de fout de aanroeper, en omdat er geen lijst is veranderd, is de geschiedenis van de aanroeper precies zoals die vóór de aanroep was.

Voer de chat uit

Voer python conversation.py uit. De demonstratie begint met een lege geschiedenis en stelt na elkaar drie vragen:

The study chat:
  You: What does len() return?
  Model: len() returns the number of items in a sequence or collection, such as the characters in a string or the elements in a list.
  You: What's the weather like today?
  Model: I can only help with Python and the course notes. Would you like to look at how loops work instead?
  You: What is a Python list?
  Model: A list is an ordered, changeable collection of values. You write one with square brackets, like [1, 2, 3], and you can add, remove and change items after creating it.
  The history now holds 7 messages.

Zonder systeembericht beantwoordt het gescripte model de weervraag met I can't check the weather. I don't have access to live information. In de chat stuurt het terug naar Python, omdat het studiesysteembericht eerst kwam. De geschiedenis eindigt met zeven berichten: het systeembericht en drie volledige beurten.

De demonstratie laat het geval zien waarin alles goed gaat. Probeer voordat je je werk controleert in de de gevallen die ertoe doen: een geschiedenis waarvan het eerste bericht een ander systeembericht is, een geschiedenis die voorbij MAX_MESSAGES is gegroeid, en een controle dat de lijst die je meegaf daarna onveranderd is. prepare_messages verstuurt niets over het netwerk, dus je kunt het direct aanroepen. Start Python met python, zoals in les 6, en probeer het eerste geval:

from conversation import prepare_messages
print(prepare_messages([{"role": "system", "content": "Reply in Spanish."}], "Hola"))

De uitvoer moet uit twee berichten bestaan: het Spaanse systeembericht, niet het studiebericht, gevolgd door de vraag Hola. Loop je op een van de gevallen vast, vraag Monty dan om een hint voor dat geval zonder om de hele functie te vragen.

Hoofdstuk 3 houdt prepare_messages zoals het is, begint met een afgeronde kopie van dit bestand en verandert alleen hoe het antwoord binnenkomt: stukje voor stukje, terwijl het model het schrijft.

prepare_messages zet eerst het systeembericht erin en kort daarna in. Wat gaat er mis als het eerst inkort en het systeembericht daarna toevoegt?

Waarom geeft chat_turn add_turn(messages[:-1], question, reply) terug en niet add_turn(messages, question, reply)?

Opdracht

Vervang in conversation.py de onafgemaakte bodies van prepare_messages en chat_turn.

  • prepare_messages(history, question): begin met een kopie van history. Als die leeg is of het eerste bericht geen system-bericht is, zet je system_message() ervoor; een ander systeembericht dat al eerst staat, blijft zoals het is. Neem next_request(that, question)["messages"] en geef trim_history(those, MAX_MESSAGES) terug. Eerst het systeembericht erin, dan inkorten.

  • chat_turn(history, question, *, session=None): messages = prepare_messages(history, question); stuur {"model": MODEL, "messages": messages} met send_body(..., session=session); reply = answer_text(response); geef (reply, add_turn(messages[:-1], question, reply)) terug.

Geen van beide functies mag de lijst van de aanroeper veranderen, en chat_turn vangt geen exceptions af. Voer python conversation.py uit om de studiechat bij het onderwerp te zien blijven, en controleer daarna je werk.