Hoofdstuk 3
Streamen
Waarom wachten op het hele antwoord?
Je studiechat uit hoofdstuk 2 stuurt een vraag en wacht dan. Er verschijnt niets tot het hele antwoord binnen is, en bij een lang antwoord van een echt model kan dat vele seconden duren. Chatapps die je zelf gebruikt doen iets anders: het antwoord verschijnt een paar woorden tegelijk, terwijl het model het nog schrijft. Dat heet streamen (streaming), en dat bouw je in dit hoofdstuk.
Je project voor dit hoofdstuk
Open streaming.py in de projecteditor. Het bestand begint met deze imports:
from conversation import add_turn, prepare_messages
from errors import StreamBroken
from llm_basics import answer_text, send_body
conversation.py is de afgeronde code van hoofdstuk 2 en llm_basics.py die van hoofdstuk 1; beide staan ernaast. Je hoeft geen van beide te veranderen. Net als eerder gebruikt de controle van je werk eigen kopieën ervan, dus een wijziging daarin kan geen beoordeling veranderen, maar wel de demonstratie laten vastlopen. errors.py bevat één exception, StreamBroken, die je in les 7 gebruikt.
Onder de constanten staan vijf onafgemaakte functies, één of twee per les, en een afgeronde functie preview_reply die de demonstratie in deze les gebruikt. python streaming.py voert het bestand uit, en de demonstratie onderaan roept elk van je functies aan zodra die bestaat.
Bekijk het verschil
Voer in de Shell nu python streaming.py uit, voordat je iets verandert. De demonstratie vraagt twee keer Explain Python lists in detail.: één keer zoals hoofdstuk 2 het doet, en één keer als stream. Kijk naar het scherm terwijl het programma draait, niet alleen naar het resultaat:
Without streaming:
A list is an ordered collection that can hold any mix of values. You create one with square brackets, such as scores = [90, 72, 85]. Each item has a position, starting at 0, so scores[0] is 90 and scores[-1] is the last item. Slicing takes a range: scores[0:2] gives a new list with the first two items. Lists are mutable, which means you can change them after creating them: scores.append(60) adds an item to the end, scores.remove(72) removes the first matching value, and scores[1] = 75 replaces an item in place. Because a list is changed in place, two names that refer to the same list both see the change. Use list.copy() when you need an independent list. len(scores) tells you how many items it holds.
(The whole reply took 1.7 seconds.)
With streaming:
A list is an ordered collection that can hold any mix of values. You create one with square brackets, such as scores = [90, 72, 85]. Each item has a position, starting at 0, so scores[0] is 90 and scores[-1] is the last item. Slicing takes a range: scores[0:2] gives a new list with the first two items. Lists are mutable, which means you can change them after creating them: scores.append(60) adds an item to the end, scores.remove(72) removes the first matching value, and scores[1] = 75 replaces an item in place. Because a list is changed in place, two names that refer to the same list both see the change. Use list.copy() when you need an independent list. len(scores) tells you how many items it holds.
(The whole reply took 1.9 seconds.)
The lines of a stream, as iter_lines() gives them:
Run stopped at the next function to build: open_stream is built in Lesson 3.
Op de pagina zien de twee antwoorden er hetzelfde uit. Op je scherm niet. De eerste keer gebeurde er bijna twee seconden niets, en toen verscheen de hele alinea in één keer. De tweede keer verschenen de eerste woorden meteen en volgde de rest een paar woorden tegelijk. De laatste regel is de gebruikelijke stopregel: de demonstratie stopt bij de eerste functie die je nog niet hebt gebouwd.
Het gescripte model streamt dit antwoord als 43 delen van hoogstens drie woorden, ongeveer 40 milliseconden na elkaar. Als je niet om een stream vraagt, wacht het precies even lang en stuurt het dan alles, zodat je de twee kunt vergelijken. SCRIPTED_MODEL.md beschrijft beide regels. De tijden tussen haakjes kunnen per run een paar tienden van een seconde verschillen.
Wat streamen verandert, en wat niet
Een model schrijft zijn antwoord één token tegelijk, zoals hoofdstuk 1 beschreef. Zonder streamen verzamelt de dienst alle tokens en stuurt hij het antwoord als het laatste token geschreven is. Met streamen stuurt hij de tokens door zodra ze geschreven zijn, in kleine groepjes.
Dat verandert één ding: hoe snel de lezer iets ziet. Met streamen verschijnen de eerste woorden zodra het model ze schrijft. Een lezer kan al beginnen met lezen en ziet dat het programma bezig is en niet vastzit.
De rest verandert niet:
De totale tijd blijft gelijk. Het model schrijft het antwoord in beide gevallen even snel. Beide runs hierboven duurden van begin tot eind ongeveer twee seconden.
De kosten blijven gelijk. Je betaalt voor de verstuurde en de geschreven tokens, zoals in hoofdstuk 1, en een gestreamd antwoord heeft precies dezelfde tokens.
Het antwoord blijft gelijk. Streamen verandert hoe het antwoord reist, niet wat het model schrijft.
Bij een kort antwoord maakt het verschil nauwelijks uit. Bij een lang antwoord van een live model, dat tien seconden of langer kan duren, is het het verschil tussen een programma dat lijkt te reageren en een dat lijkt te hangen.
Streamen is niet altijd wat je wilt. Als je programma het hele antwoord nodig heeft voordat het er iets mee kan, zoals er JSON uit lezen in hoofdstuk 4, levert het deel voor deel tonen niets op. Hoofdstuk 4 gaat om precies die reden terug naar wachten op hele antwoorden.
Het plan voor dit hoofdstuk
De volgende les bekijkt wat een stream eigenlijk bevat. Les 3 tot en met 7 bouwen daarna stap voor stap een streamlezer: een stream openen, bepalen welke regels ertoe doen, de tekst uit elk stukje halen, de delen afdrukken zodra ze binnenkomen en tegelijk het hele antwoord bewaren, en weigeren een stream die halverwege afbreekt als compleet antwoord te behandelen. Het project laat de studiechat uit hoofdstuk 2 zijn antwoorden streamen.
Een programma vraagt een live model om een lange uitleg. Wat verbetert het streamen van het antwoord?
Een antwoord kost $0.0004 als je wacht tot het compleet is. Wat kost hetzelfde antwoord als je het streamt?
Welk programma heeft het minst aan het streamen van het antwoord?