Waarom de One Million Token Context van Gemini 1.5 een Game Changer is
Snelle links
⭐ Wat is een Contextvenster?
⭐ Waarom het Contextvenster van Gemini 1.5 belangrijk is
⭐ Voldoet Gemini 1.5 aan de verwachtingen?
Belangrijkste opmerkingen
De nieuwste versie van Google’s AI-reclameplatform, bekend als Gemini 1.5, heeft een indrukwekkende functie geïntroduceerd waarmee het zich onderscheidt van zijn concurrenten in de branche. Meer specifiek beschikt deze nieuwe versie over een opmerkelijk contextvenster met één miljoen tokens, wat aanzienlijk groter is dan wat andere platforms zoals Claude en ChatGPT momenteel bieden. Deze verbetering zorgt voor uitgebreidere analyse- en targetingmogelijkheden binnen de advertentiecampagnes die via het platform worden beheerd, wat uiteindelijk leidt tot betere prestaties en resultaten voor gebruikers.
Het vergroten van een contextvenster kan leiden tot betere prestaties voor kunstmatige intelligentiemodellen, terwijl de kans op fouten afneemt. Het is echter belangrijk op te merken dat dit niet noodzakelijkerwijs algeheel succes garandeert.
Gemini 1.5 heeft de potentie om het niveau van nauwkeurigheid aanzienlijk te verhogen door gebruik te maken van een groter contextvenster, wat resulteert in minder fouten en een algeheel beter begrip.
De nieuwste versie van Google’s Gemini platform, versie 1.5, heeft een indrukwekkend contextvenster van één miljoen token, dat dat van concurrenten zoals ChatGPT, Claude en verschillende andere AI-gestuurde chatbots overtreft.
De voorgestelde verbetering lijkt een substantiële verbetering te zijn, die het potentieel heeft om Gemini te onderscheiden van concurrenten. Hoewel het begrijpen van de omvang van deze verbetering een aantal uitdagingen met zich mee kan brengen, is het mogelijk dat het aanzienlijk uitgebreide contextvenster dat Gemini biedt, transformerend van aard kan blijken te zijn.
Wat is een contextvenster?
AI-modellen worden bij het geven van antwoorden, zoals het verduidelijken van concepten of het samenvatten van teksten, beperkt door de hoeveelheid gegevens waarmee rekening kan worden gehouden bij het genereren van een antwoord, wat het “contextvenster” wordt genoemd.
Een ander perspectief om te overwegen is een bezoek aan een marktplaats voor proviand zonder een vooraf opgestelde inventarisatielijst. In dit scenario bepalen de grenzen van iemands geheugen hun “contextvenster”, wat een directe invloed heeft op de waarschijnlijkheid dat ze hun voorgenomen aankopen succesvol afronden. Door de capaciteit van het geheugen van een kunstmatig intelligentiesysteem te vergroten, kan het dus alle noodzakelijke informatie vasthouden en de waarschijnlijkheid vergroten dat het optimale resultaten levert terwijl het zich houdt aan de voorkeuren van de gebruiker.
Op dit moment heeft Anthropic’s Claude 2.1 het meest uitgebreide contextvenster van alle direct toegankelijke AI-modellen, met een grootte van 200k tokens. GPT-4 Turbo, dat een contextvenster van 128k tokens heeft, volgt op de voet. Google Gemini 1.5 staat echter op het punt om een verbluffend contextvenster van een miljoen tokens te introduceren, waarmee het alle bestaande aanbiedingen op de markt ruimschoots overtreft. De opkomst van zo’n groot contextvenster doet een belangrijke vraag rijzen over de potentiële impact en betekenis ervan binnen de sector.
Why Gemini 1.5’s Context Window Is a Big Deal
Eenvoudiger gezegd, Claude AI heeft een aanzienlijke capaciteit voor het verwerken van ongeveer 150.000 woorden binnen zijn 200k contextvenster, wat behoorlijk indrukwekkend is. Aan de andere kant heeft Google’s Gemini 1.5 een nog grotere capaciteit, aangezien het tot 700.000 woorden tegelijk kan verwerken.
Het verwerken van grote hoeveelheden informatie binnen de grenzen van een AI-chatbot zoals ChatGPT of Gemini is niet altijd haalbaar vanwege de beperkingen die worden opgelegd door het contextvenster. Als hiermee geen rekening wordt gehouden, kan dit leiden tot pogingen om meer gegevens te verwerken dan het systeem effectief kan verwerken, wat kan leiden tot potentiële problemen tijdens de uitwisseling.
Stel je een scenario voor waarbij je een samenvatting moet maken van een lange speelfilm nadat je alleen de eerste twintig minuten hebt gezien. Het resultaat van zo’n poging zou waarschijnlijk onbevredigend zijn, omdat het geven van een uitgebreide beschrijving van het plot en de karakterontwikkeling van de film meer dan een uitdaging zou zijn. In deze situatie zou het redelijk zijn om helemaal geen uitleg te geven of een fictief verhaal te verzinnen vanwege de inherente beperkingen van kunstmatige intelligentie bij het genereren van coherente antwoorden op basis van beperkte input. Bijgevolg kunnen deze verzonnen verhalen aanleiding geven tot illusoire waarnemingen die voortkomen uit het onvermogen van de AI om de fijne kneepjes van menselijke communicatie volledig te begrijpen.
Het is belangrijk om op te merken dat de context van een conversatie verder gaat dan alleen het leveren van een grote hoeveelheid tekst aan een AI-model binnen een enkele prompt. Het AI-model houdt rekening met de hele dialoog die heeft plaatsgevonden in de loop van de chatsessie om antwoorden te genereren die zowel gepast als relevant zijn. Dit bredere perspectief op de context helpt ervoor te zorgen dat de gegenereerde output overeenkomt met de bedoelde betekenis en bedoelingen achter de communicatie van de gebruiker.
De dynamische aard van onze uitwisselingen met AI-taalmodellen draagt bij aan hun begrip van context.Hoewel we ze misschien niet voorzien van lange teksten, verrijken het verloop van onze interacties en de reacties die ze genereren het contextvenster incrementeel. Het fenomeen dat deze systemen schijnbaar geen rekening houden met eerder besproken onderwerpen kan worden toegeschreven aan het overschrijden van de opslagcapaciteit van het contextvenster. Bijgevolg wordt essentiële informatie weggegooid, wat resulteert in hiaten in het geheugen.
Een uitgebreider contextueel kader is cruciaal bij het uitvoeren van taken die een ingewikkeld begrip van de context vereisen, zoals het inkorten van lange artikelen, het beantwoorden van ingewikkelde vragen of het behouden van naadloze continuïteit binnen het geproduceerde discours. Wil je een roman schrijven van vijftigduizend woorden met een eenduidige verhaallijn? Zoek je een model dat vragen over een videopresentatie van een uur kan onderzoeken en beantwoorden? In beide gevallen is een breder contextvenster onmisbaar.
In essentie kan de uitgebreide contextuele reikwijdte van Gemini 1.5 de doeltreffendheid van het kunstmatige intelligentiemodel aanzienlijk verbeteren, waardoor het aantal gevallen van verkeerde voorstelling van zaken afneemt en zowel de nauwkeurigheid als de naleving van instructies aanzienlijk toeneemt.
Zal Gemini 1.5 aan de verwachtingen voldoen?
In het licht van Google’s eerdere ervaringen met het ontwikkelen van instabiele AI-modellen, is het verstandig om terughoudend te zijn en niet aan te nemen dat het vergroten van het contextvenster noodzakelijkerwijs zal resulteren in superieure prestaties voor Gemini 1.5. Hoewel deze nieuwe versie de huidige industriestandaarden kan overtreffen, moeten we voorzichtig blijven en rekening houden met andere factoren dan eenvoudige parameteraanpassingen.
Door mijn ervaring met het 200k contextvenster van Claude 2.1 sinds de lancering ervan, is het duidelijk geworden dat een uitgebreid contextvenster de contextgevoeligheid kan verbeteren. Tekortkomingen in de prestaties van het onderliggende model kunnen er echter toe leiden dat een groter contextvenster eerder een belemmering dan een voordeel wordt.
Krijgen we met Google Gemini 1.5 een game-changer? De sociale media staan momenteel vol met lovende kritieken over Gemini 1.5 van vroege gebruikers. De meeste 5-sterrenrecensies zijn echter afkomstig van overhaaste of vereenvoudigde gebruikssituaties. Een goede plek om te controleren hoe Gemini 1.5 in het wild zou presteren is Google’s Gemini 1.5 technisch rapport [PDF]. Het rapport laat zien dat zelfs tijdens “gecontroleerde tests” het model niet alle kleine details van documenten kon ophalen binnen de grootte van het contextvenster.
Hoewel het bereiken van een contextvenster van een miljoen tokens een opmerkelijke technologische prestatie is, kan het praktische nut ervan afnemen als het betrouwbaar terugvinden van de specifieke kenmerken van een document niet consistent kan worden bereikt. Omgekeerd kunnen dergelijke beperkingen resulteren in verminderde precisie en gevallen van ongerechtvaardigde speculatie of gissing.