Hebben reacties op ChatGPT een karakter- of woordlimiet?
Belangrijkste vaststellingen
De beperkingen van de antwoorden van ChatGPT worden vaak verkeerd begrepen als zijnde grenzeloos. Ze zijn echter onderhevig aan bepaalde beperkingen die voortkomen uit factoren zoals het tokengebaseerde systeem, eerdere interacties en computationele vereisten.
Het tokengebruik in ChatGPT is afhankelijk van de gecombineerde dimensies van vraag- en antwoordlengte, met variërende tokencapaciteiten die worden bepaald door het specifieke GPT-model dat wordt gebruikt.
Om uitgebreide antwoorden van ChatGPT te krijgen, kan iemand ervoor kiezen om te vragen naar de voortzetting, zijn vraag op te delen in meerdere segmenten, het “regenereren”-alternatief te gebruiken, een specifieke woordbeperking op te leggen of een nieuwe dialoog te starten. Door deze strategieën toe te passen, kunnen gebruikers niet-erkende beperkingen omzeilen en uitgebreidere antwoorden krijgen.
ChatGPT heeft de laatste tijd inderdaad veel aandacht gekregen. Men kan zich echter afvragen hoeveel feedback deze veelzijdige gespreksagent genereert.
De complexiteit van het bepalen van deze zaak gaat verder dan een simplistisch begrip. Ter illustratie, het stellen van deze vraag aan ChatGPT maakt de afwezigheid van vooraf bepaalde beperkingen op zijn antwoorden duidelijk.
Hoewel het proces op het eerste gezicht eenvoudig lijkt, is het niet zonder beperkingen. Er bestaan beperkingen voor de lengte van antwoorden die door ChatGPT worden gegenereerd. Gelukkig zijn er echter verschillende effectieve strategieën beschikbaar die gebruikt kunnen worden om uitgebreidere antwoorden te ontlokken aan dit taalmodel.
Hoe bepaalt ChatGPT de lengte van een antwoord?
De werking van ChatGPT is ingewikkeld van aard, en de lengte van de antwoorden kan variëren op basis van de specifieke vraag en de mate van granulariteit die de gebruiker zoekt. In tegenstelling tot wat sommigen denken, legt ChatGPT zichzelf echter geen rigide beperkingen op, zoals blijkt uit de volgende schermafbeelding die van dit feit getuigt.
Vragen naar de mogelijkheden en kennis van ChatGPT is niet altijd betrouwbaar vanwege mogelijke vooringenomenheid in zijn zelfbeoordeling en beperkingen in de beschikbare informatie. Om de mate van reactievermogen te meten, werd een experiment uitgevoerd waarbij de chatbot werd gevraagd een uitgebreid verhaal van 5000 woorden te schrijven over de historische achtergrond van de FIFA World Cup. De evaluatie van ChatGPT week af van onze bevindingen.
ChatGPT toont formidabele capaciteiten, maar misschien was het te ambitieus om een output van 5000 woorden te vragen, waardoor een bescheidener vraag van 2500 woorden nodig was.
Ondanks onze pogingen om een antwoord van 1000 woorden of meer te genereren, was ChatGPT niet in staat om aan de gevraagde output te voldoen. Na verschillende iteraties werd het duidelijk dat de chatbot niet in staat was om zo’n uitgebreid antwoord te produceren. De vraag rijst welke factoren de chatbot belemmeren om langere antwoorden te genereren.
Een mogelijke verklaring voor dit fenomeen kan worden toegeschreven aan een concept dat bekend staat als het tokensysteem.
Wat is het tokensysteem dat ChatGPT gebruikt?
ChatGPT gebruikt een token-gebaseerd systeem voor het bepalen van de lengte van zijn antwoorden in plaats van alleen te vertrouwen op een woordentelling. Deze benadering houdt niet alleen rekening met de lengte van gebruikersvragen, maar ook met die van de gegenereerde antwoorden. Door inputs en outputs op te splitsen in individuele tokens, categoriseert het systeem effectief de grootte van zowel verzoeken als antwoorden.
Hoewel het aantal woorden hierbij een rol speelt, is dit niet het hele verhaal. Het onderstaande voorbeeld werd bijvoorbeeld ingevoerd in OpenAI’s Tokenizer tool .
Het uitsplitsen van de zin “Hoeveel woorden heb ik getypt” en het bijbehorende antwoord “6” resulteerde in een totaal van negen tokens, wat overeenkomt met OpenAI’s standaard waarin één token ongeveer gelijk is aan 0,75 woorden.
De beschikbaarheid van verschillende tokenlengtes binnen de OpenAI GPT-modellen levert een kleine complicatie op. Het standaard GPT-4-model dat wordt geleverd als onderdeel van het ChatGPT Plus-abonnement biedt een bereik van 4k tot 8k tokens voor contextuele informatie. Daarnaast is er een optie voor een uitgebreide 32k token contextversie van GPT-4. Daarentegen biedt de GPT-3.5-serie meerdere tokenconfiguraties, waaronder 4k, 8k en 16k tokenvarianten; deze opties zijn echter niet allemaal toegankelijk voor het grote publiek.
We hebben ons experiment uitgevoerd met zowel de GPT-3.5 baseline als de hypothetische GPT-4 met 8k parameters, hoewel we de laatste aanduiding als ongecontroleerd moeten kwalificeren vanwege inconsistenties die zijn waargenomen tijdens een contextvensteranalyse. Verder is er geen bevestigend bewijs van gezaghebbende bronnen om de bewering te valideren dat het GPT-4 model dat beschikbaar is op chat.openai.com 8k parameters heeft.
De beperkingen die worden opgelegd door de respectievelijke modellen van GPT-3.5 4k en GPT-4 8k resulteren in beperkingen op zowel gebruikersvragen als overeenkomstige antwoorden, waarbij GPT-3.5 beperkt is tot 4.097 tokens terwijl GPT-4 8k een limiet heeft van 8.192 tokens. Volgens OpenAI komen deze limieten neer op ongeveer 3.000 woorden voor GPT-3.5 en tussen de 5.000 en 6.000 woorden voor GPT-4 8k. Ondanks het feit dat ChatGPT over zo’n uitgebreide woordcapaciteit beschikt, is het raadselachtig dat het niet in staat was om artikelen van meer dan 2.500 woorden te produceren of zelfs maar 1.500 woorden op verzoek. Het ra
Waarom zijn de reacties van ChatGPT beperkt?
In theorie lijkt het concept van tokenlengte eenvoudig en redelijk; AI-modellen houden echter rekening met verschillende factoren bij het overwegen van dergelijke beperkingen. Twee belangrijke aspecten verdienen vermelding.
Vanwege de conversationele aard houdt ChatGPT rekening met eerdere uitwisselingen bij het beantwoorden van gebruikersvragen. Als zodanig maken zelfs eerdere prompts en antwoorden deel uit van het contextvenster, wat van invloed kan zijn op de beschikbare tokenlimiet. De beoordeling van relevante informatie gaat verder dan de directe vraag- en antwoordparen.
ChatGPT heeft een opmerkelijk succes geboekt en een exponentiële groei doorgemaakt, wat heeft geresulteerd in een uitzonderlijk grote vraag naar zijn diensten. Om de toestroom van gebruikers te accommoderen, is het belangrijk op te merken dat het aantal beschikbare tokens kan fluctueren en niet noodzakelijkerwijs gelijk is aan de opgegeven limiet van 8000 tokens per maand. Daarnaast zijn er maatregelen geïmplementeerd om het aantal aanvragen van individuele gebruikers te reguleren om de belasting over het systeem te verdelen en optimale prestaties te behouden.
Opgemerkt moet worden dat er geen absolute richtlijn is - we hebben antwoorden geproduceerd die dit met bijna tweehonderd woorden overschrijden. Desalniettemin kan dit als een acceptabel maximum worden beschouwd voor het geven van uitgebreide antwoorden.
Hoe krijg ik langere antwoorden van ChatGPT
Na het herkennen van het bestaan van een impliciete grens in de antwoorden van ChatGPT, kunnen verschillende eenvoudige benaderingen worden gebruikt om uitgebreidere antwoorden te krijgen.
⭐ Vraag ChatGPT om door te gaan: Als ChatGPT halverwege een antwoord stopt, is het een optie om simpelweg te vragen om door te gaan. In het onderstaande voorbeeld typten we “Ga verder,” en het voegde nog eens tweehonderd woorden toe aan het antwoord. 
⭐ Splits je vraag op in kleinere delen: We hebben het bijvoorbeeld meerdere keren gevraagd om een opstel te schrijven over de impact van AI op de samenleving. Je kunt bijvoorbeeld vragen om een opsomming te geven van onderwerpen voor een opstel over AI en dan de gegeven opsommingstekens gebruiken als individuele aanwijzingen. 
Aangezien een poging om de oplossing te regenereren kan resulteren in een identieke fout, zou je kunnen stellen dat het geen kwaad kan om het te proberen. Ondanks de mogelijkheid dat het probleem zich herhaalt, kan het nuttig zijn om alle beschikbare opties te onderzoeken voordat deze als nutteloos worden afgedaan.
⭐ Geef een bovengrens op voor het aantal woorden in je prompt: De afbeelding hieronder laat zien hoe dit kan worden gebruikt om het maximale aantal woorden in een antwoord te manipuleren. 
Het starten van een nieuwe dialoog biedt de mogelijkheid om een blanco canvas te creëren waarop je een nieuwe uitwisseling van ideeën kunt bouwen, zonder vooroordelen of vooringenomenheid die voortkomt uit eerdere interacties. Door een nieuwe discussie te starten, kan men het voordeel benutten van een nog niet aangeboorde context die nog verkend moet worden, waardoor een dynamischere en creatievere uitwisseling tussen de betrokken partijen mogelijk wordt.
Om uitgebreide antwoorden van ChatGPT te krijgen, kun je overwegen deze suggesties te implementeren, die ook de informele beperking op de antwoordlengte kunnen omzeilen.
ChatGPT: Kwaliteit boven kwantiteit
Hoewel er geen definitief plafond is voor de lengte van ChatGPT-antwoorden die via geautoriseerde kanalen zijn verkregen, bestaan er wel praktische beperkingen die worden bepaald door factoren zoals historische uitwisselingen en de huidige beschikbaarheid van middelen. Door tactieken toe te passen zoals het opsplitsen van vragen, het vragen om uitgebreide input van de AI, het initiëren van nieuwe discussies, het opleggen van beperkingen aan het aantal woorden of het starten van alternatieve dialogen, kunnen gebruikers uitgebreidere en langere antwoorden krijgen dan wat normaal zou worden gegeven. Hoewel het niet perfect is, stelt het begrijpen van deze stilzwijgende grenzen en het gebruik van geschikte methodologieën mensen in staat om optimaal gebruik te maken van deze krachtige gespreks-AI agent.