Google PaLM 2 vs. OpenAI GPT-4: Vad är skillnaden?
Google presenterade nästa generation av sin Pathways Language Model (PaLM 2) den 10 maj 2023 på Google I/O Den nya stora språkmodellen (LLM) har många förbättringar jämfört med sin föregångare (PaLM) och kan till slut vara redo att ta sig an sin största rival, OpenAI:s GPT-4.
I vilken utsträckning Google har gjort framsteg är fortfarande en fråga för eftertanke. Kan PaLM 2 verkligen visa sig vara den avgörande faktor som Google föreställer sig att den ska vara? Dessutom, med tanke på den mängd jämförbara kompetenser som finns på marknaden, vad skiljer PaLM 2 från OpenAI:s GPT-4?
PaLM 2 vs. GPT-4: Prestandaöversikt
PaLM 2 har en mängd innovativa funktioner som skiljer den från sin föregångare, inklusive dess mångsidighet genom att erbjudas i mindre format som skräddarsytts för att passa specifika uppgifter som kräver mindre beräkningsresurser än GPT-4.
Var och en av de ovan nämnda dimensionerna har sina motsvarande mindre motsvarigheter som kallas Gecko, Otter, Bison och Unicorn, där Gecko representerar den allra minsta versionen, följt av Otter, Bison och slutligen Unicorn, den största av dem alla.
Google hävdar att man har förbättrat sin slutledningsförmåga jämfört med GPT-4 i både WinoGrande och DROP, och uppnått en marginell seger i ARC-C. Dessutom har man gjort betydande framsteg inom alla områden som rör PaLM och SOTA.
PaLM 2 är också bättre på matematik, enligt Googles 91-sidiga PaLM 2 research paper [PDF]. Det sätt på vilket Google och OpenAI har strukturerat sina testresultat gör det dock svårt att jämföra de två modellerna direkt. Google utelämnade också vissa jämförelser, sannolikt för att PaLM 2 inte presterade lika bra som GPT-4.
MMLU, HellaSwag och ARC-E. Resultaten visade att GPT-4 överträffade PaLM 2 i alla fall utom ett där de uppnådde samma poäng. Specifikt i MMLU fick GPT-4 en poäng på 86,4% medan PaLM 2 uppnådde 81%. På samma sätt, när man överväger HellaSwag-modellen, registrerade GPT-4 en imponerande poäng på 95.3%, medan PaLM 2: s prestanda var något lägre på 86.8%. Slutligen, i ARC-E-modellen presterade båda modellerna
Den största modellen i PaLM 2-familjen är PaLM 2-L. Även om vi inte känner till dess exakta storlek vet vi att den är betydligt mindre än den största PaLM-modellen men använder mer träningsberäkning. Enligt Google har PaLM 540 miljarder parametrar, så “betydligt mindre” borde innebära att PaLM 2 har mellan 10 miljarder och 300 miljarder parametrar.Tänk på att dessa siffror bara är antaganden baserade på vad Google har sagt i PaLM 2-papperet.
Mot bakgrund av det faktum att om den nämnda siffran ligger i närheten av 100 miljarder eller mindre, är det mycket troligt att PaLM 2 kommer att uppvisa färre parametrar jämfört med GPT-3. Tanken att en potentiell modell med begränsningar i sin skala kan ha förmågan att konkurrera med och överträffa GPT-4 i vissa uppgifter är verkligen anmärkningsvärd. Omvänt var GPT-3.5 till en början oöverträffad i prestanda och överträffade till och med PaLM, men PaLM 2 har visat en beundransvärd comeback.
PaLM 2 har en betydande fördel jämfört med GPT-4 när det gäller mångsidigheten i fråga om tillgängliga storlekar. Detta gör att olika versioner av modellen, till exempel Gecko, kan användas på mobila enheter, även när det inte finns någon internetanslutning, vilket ger inbyggda funktioner för artificiell intelligens som ännu inte har setts med GPT-4. Möjligheten till bearbetning på enheten förbättrar ytterligare tillgängligheten och användbarheten av PaLM 2 jämfört med GPT-4.
Skillnader i träningsdata för GPT-4 och PaLM 2
Google har inte avslöjat omfattningen av det träningsdataset som använts för PaLM 2, men det framgår tydligt av deras forskningsdokument att denna nya stora språkmodell har tränats på ett betydligt mer omfattande dataset än sin föregångare. På samma sätt har Open
För att uppnå en djupare förståelse av matematiska, logiska och vetenskapliga begrepp har Google betonat dessa områden i träningsdatasetet för PaLM 2. Som anges i deras forskningsdokument består förträningskorpusen för PaLM 2 av olika källor som webbplatser, litteratur, programmeringsspråk, matematiska texter och samtalsutskrifter, vilket resulterar i förbättringar jämfört med den ursprungliga modellen i många avseenden.
Med tanke på dess omfattande språkkunskaper som spänner över mer än 100 språkliga ramverk förväntas PaLM 2 uppvisa exceptionella konversationsförmågor, tack vare dess förbättrade kontextuella förståelse och sömlösa översättningar. Den minskade användningen av data under träning påstås resultera i minskad generering av skadligt innehåll, genom att kringgå webbplatser som innehåller hatisk diskurs eller skadligt beteende. I synnerhet utesluts omfattande textbaserade lagringsplatser som Reddit från inlärningsprocessen, vilket resulterar i ett resultat som kännetecknas av en förhöjd grad av anständighet och civilkurage.
När det gäller GPT-4:s träningsdata har OpenAI berättat för oss att de har tränat modellen med hjälp av offentligt tillgängliga data och de data som de licensierat. På GPT-4:s forskningssida står följande: “Datan är en webbaserad datakorpus som innehåller korrekta och felaktiga lösningar på matematiska problem, svaga och starka resonemang, självmotsägande och konsekventa påståenden och som representerar en stor mängd olika ideologier och idéer.”
Genom att använda förstärkningsinlärning och integrera mänsklig input har OpenAI förfinat GPT-4:s prestanda för att säkerställa att dess genererade svar är mer anpassade till det avsedda syftet bakom en given förfrågan. Denna process hjälper till att filtrera bort all ovidkommande eller irrelevant output som systemet producerar, vilket i slutändan ger användarna ett mer korrekt och tillfredsställande svar på sina frågor.
Det är viktigt att notera att de specifika träningsdata som används av varje modell förblir okända, men det kan utläsas att det avsedda syftet bakom deras respektive träning varierade avsevärt. Det slutliga resultatet av sådana skillnader kommer att framgå först när båda modellerna används i en faktisk operativ miljö.
Med tanke på den stora mängd träningsdata som GPT-4 använder, är den väl positionerad för att förstå språkets finesser mer effektivt än sina föregångare, vilket genererar en överlägsen kvalitet på utdata. Icke desto mindre kräver en sådan omfattande användning att strikta begränsningar införs för modellen för att förhindra olämpligt beteende, vilket inte är tillämpligt på Google med tanke på deras beslut att utesluta skadligt innehåll från träningsprocessen.
PaLM 2 och GPT-4 Chatbots och tjänster
Genom att använda respektive chatbots för varje språkmodell kan användarna få tillgång till båda genom två separata portaler. GPT-4:s åtkomst är dock begränsad till abonnenter av premiumtjänsten ChatGPT Plus, medan de som inte är villiga att betala fortfarande kan interagera med GPT-3. Å andra sidan är PaLM 2:s Bard gratis och tillgänglig över hela världen i över 180 länder.
Även om det kan vara sant att GPT-4 kan nås utan kostnad, bör man komma ihåg att Microsofts Bing AI Chat använder denna teknik och är fritt tillgänglig för alla. Faktum är att den är bekvämt placerad bredvid Bing Search, som är en betydande konkurrent till Google inom samma domän.
Under den senaste upplagan av Google I/O 2023 avslöjades att betydande framsteg i både PaLM 2 och införlivandet av generativ AI kommer att avsevärt förbättra den övergripande användarupplevelsen inom Google Workspace-ekosystemet. Denna innovativa integration sträcker sig till en mängd tjänster som tillhandahålls av teknikjätten, såsom Google Docs, Sheets, Slides, Gmail, bland andra.Det är också värt att notera att Google har verifierat att PaLM 2 för närvarande har integrerats sömlöst i mer än tjugofem olika applikationer i företagets produktportfölj, som omfattar det populära mobila operativsystemet Android och videodelningsplattformen YouTube.
Microsoft har införlivat AI-funktioner i sin Microsoft Office-svit med applikationer samt i ett flertal tjänster. För närvarande har användarna möjlighet att bevittna en tävling mellan AI-teknik som erbjuds av två konkurrerande företag som kämpar om dominans inom detta område.
Som ett resultat av att GPT-4 släpptes tidigt och att man gjorde allt för att undvika de felsteg som föregångaren gjorde, har den blivit den dominerande Large Language Model (LLM) bland tredjepartsutvecklare, startups och andra som vill integrera en avancerad AI-lösning i sina tjänster. För att illustrera detta har jag sammanställt en samling applikationer som använder GPT-4 som kan granskas när det passar dig.
Det bör noteras att även om utvecklare kan experimentera med eller anta PaLM 2, kommer Google att behöva arbeta hårt för att konkurrera med OpenAI i detta avseende. En fördel som PaLM 2 har jämfört med GPT-4 är dess tillgänglighet som en plattform med öppen källkod, vilket kan leda till ett bredare antagande jämfört med ett proprietärt betalt API.
Sammantaget verkar den PaLM 2-drivna Bard för närvarande vara det bättre valet när det gäller forskning eftersom den är bättre på att besvara frågor med relevant information och få tillgång till den senaste informationen på internet om ett visst ämne. Enligt Bards senaste uppdatering , som levererades den 19 september 2023, använder Bard nu sin “mest kapabla modell hittills” med stöd för ytterligare 40 språk, djupgående kodningshjälp, möjlighet att presentera olika perspektiv på ett givet ämne samt allmänna förbättringar av kvalitet och noggrannhet.
Även om det är möjligt att korsreferera Bards svar med hjälp av externa sökmotorer som Google, ligger systemet fortfarande efter sina konkurrenter när det gäller att generera svar snabbt jämfört med det GPT-4-baserade ChatGPT eller Microsofts Bing Chat.
Kan PaLM 2 ta sig an GPT-4?
PaLM 2, som är en relativt ny utveckling, har ännu inte visat sin förmåga att konkurrera med GPT-4. Baserat på Googles ambitiösa planer och starka marknadsföringsinsatser finns det dock indikationer på att PaLM 2 kan utgöra en betydande utmaning för GPT-4. Dessutom arbetar Google aktivt med att utveckla en multimodal AI-modell vid namn Gemini, vilket ytterligare ökar pressen på OpenAI att öka sina insatser.
Medan GPT-4 fortfarande är formidabel, har PaLM 2 en betydande fördel på grund av dess användning av flera mindre modeller. Gecko-komponenten i PaLM 2 är anmärkningsvärt effektiv och kan användas på mobila enheter även när den är offline. Tack vare denna mångsidighet kan PaLM 2 tillgodose ett bredare utbud av enheter och applikationer som kan ha svårt att få tillgång till GPT-4.
AI-racet hettar till
Avslöjandet av PaLM2 har intensifierat konkurrensen bland utvecklare av artificiell intelligens, och vissa anser att det är en formidabel utmanare till GPT. Dessutom förbereder Google enligt uppgift en annan multimodal AI-modell med namnet Gemini, vilket ytterligare visar sitt engagemang för att utveckla fältet.