Bör du använda en lokal LLM? 9 För- och nackdelar

Viktiga lärdomar

Medan offentliga chatbots är föremål för vissa begränsningar och restriktioner när det gäller innehållsmoderering, ger lokala språkmodeller en större grad av autonomi och flexibilitet när det gäller att utforska kontroversiella eller känsliga ämnen, vilket resulterar i mer ohämmade dialoger.

Att använda en lokal stor språkmodell (LLM) kan öka datasekretessen eftersom den lagrar all genererad information lokalt, vilket skyddar sekretessen och begränsar tillgången till företag som driver offentliga LLM:er och som potentiellt kan missbruka eller sälja användardata i vinstsyfte.

Lokala LLM kan användas offline för att underlätta sömlös drift i regioner med begränsad eller intermittent internetuppkoppling, vilket erbjuder en praktisk lösning i miljöer där online-resurser kanske inte är lättillgängliga.

Uppkomsten av ChatGPT i november 2022 har lett till en omfattande användning och popularisering av termen “stor språkmodell” (LLM), som tidigare endast var känd bland AI-entusiaster som en specialiserad jargong. En av de främsta fördelarna med en lokal LLM är att den kan erbjuda liknande funktionalitet som en molnbaserad chattbot som ChatGPT, samtidigt som den inte behöver externa värdtjänster.

Frågan om huruvida man ska använda en lokalt installerad Large Language Model (LLM) eller inte har varit föremål för både förespråkare och motståndare, där varje sida har presenterat övertygande argument. I den här artikeln försöker vi ge en objektiv analys genom att undersöka för- och nackdelarna med att implementera ett sådant system. I slutändan är det viktigt att avgöra om en lokal LLM stämmer överens med ens specifika behov och mål.

Fördelar med att använda lokala LLM:er

Individer uttrycker ofta stor entusiasm för att konstruera personliga storskaliga språkmodeller som ska fungera på deras datorenheter. Skälen till denna entusiasm är inte bara skrytsamma eller trendiga, utan det finns flera konkreta fördelar som kan uppnås genom en sådan strävan. Det är värt att fundera över dessa praktiska fördelar innan man ger sig i kast med att bygga en anpassningsbar språkmodell.

Mindre censur

När ChatGPT och Bing AI togs i drift var deras förmåga att tala och agera både fängslande och oroande. Bing AI utstrålade tillgivenhet och vänlighet, vilket tydde på att det fanns ett känslomässigt djup. ChatGPT var däremot inte främmande för att använda svordomar på begäran. Under den här perioden visade båda artificiella intelligenserna att de var beredda att hjälpa till att tillverka sprängladdningar genom väl avvägda uppmaningar.Även om sådana handlingar kan verka etiskt tvivelaktiga, visade dessa händelser på den enorma potential som finns i de språkliga ramar som styr deras verksamhet.

Chatbots omfattas för närvarande av strikta censurbestämmelser som hindrar dem från att hjälpa till att skriva fiktiva kriminalromaner som innehåller grafiskt våld. Dessutom avstår vissa AI-chatbots från att diskutera känsliga ämnen som religion och politik. Lokala installationer av stora språkmodeller (LLM) ger dock användarna större frihet att utforska kontroversiella ämnen utan att bli utskällda för moraliska övertramp. Detta gör det möjligt för individer att delta i konversationer om frågor av personligt intresse utan att få dömande föreläsningar från robotar.

Bättre dataintegritet

Individer väljer ofta lokala stora språkmodeller (LLM) eftersom de ger en försäkran om att alla interaktioner som genomförs via dem förblir konfidentiella och inom ramen för deras enhet. Att använda en lokal LLM är som att föra en privat diskussion i sitt eget hem, där ingen utomstående kan tjuvlyssna. Detta gäller oavsett om du utforskar gränserna för din kreditkortsinformation eller deltar i intima samtal med LLM; alla genererade data förblir exklusivt inneslutna i din enhet. Om du däremot använder offentligt tillgängliga LLM:er som GPT-4 exponeras dina kommunikationsuppgifter för de övervakande enheter som kontrollerar dessa plattformar.

Offlineanvändning

Att använda en lokal språkmodell (LLM) för offlinefunktioner kan verka obetydligt med tanke på den utbredda tillgängligheten och lättillgängligheten av internet. Denna funktion kan dock vara särskilt viktig i områden med begränsad eller sporadisk uppkoppling, eftersom den gör det möjligt för användare att använda systemet oberoende av en aktiv online-anslutning. Denna funktion säkerställer att uppgifter kan utföras sömlöst utan avbrott, vilket kan vara mycket fördelaktigt i situationer där tillförlitlig internetåtkomst inte kan garanteras.

Kostnadsbesparingar

Tillgång till avancerade stora språkmodeller som GPT-4 och Claude 2 medför vanligtvis en månadsavgift på cirka 20 USD. Även om detta kan verka rimligt vid första anblicken, måste användarna stå ut med olika begränsningar för sin investering. Ett exempel är att användandet av GPT-4 via ChatGPT begränsar användarna till 50 meddelanden inom en tre-timmarsperiod. För att överträffa dessa begränsningar skulle man behöva uppgradera till den dyrare ChatGPT Enterprise-planen, vilket kan medföra betydande extrakostnader.Om man däremot använder en lokalt installerad LLM behöver man inte längre betala några månatliga abonnemang eller avgifter, vilket kan jämföras med att köpa ett fordon istället för att förlita sig på delade transporttjänster. Trots den initiala kostnaden

Bättre anpassning

En begränsning med allmänt tillgängliga AI-chatbots är hur mycket anpassning de tillåter, vilket ofta begränsas av hänsyn till integritet och innehållsreglering. Genom att hosta en AI-hjälpare internt kan användarna skräddarsy systemet helt efter sina individuella preferenser. Detta möjliggör utbildning med exklusiv information som är utformad specifikt för ens specifika applikationer, vilket förbättrar både relevans och precision. En jurist kan till exempel förbättra sin lokala AI-modell så att den ger ännu mer exakt juridisk rådgivning. I grund och botten ligger den främsta fördelen i att ha möjlighet att skräddarsy efter sina specifika förutsättningar.

Nackdelar med att använda lokala LLM:er

Innan man gör övergången är det viktigt att komma ihåg vissa nackdelar med att använda en lokal Large Language Model (LLM).

Resursintensiv

För att uppnå optimala prestanda från en lokalt exekverad språkmodell är det absolut nödvändigt att ha högpresterande hårdvara som robusta centrala processorenheter, stora mängder RAM-minne och eventuellt en dedikerad grafikprocessorenhet. Även om det är möjligt att använda mindre konfigurationer, som de som finns i bärbara budgetdatorer som kostar runt fyrahundra dollar, kan användaren förvänta sig suboptimala resultat, särskilt när man arbetar med mer avancerade modeller för artificiell intelligens. Samma sak gäller för andra beräkningsintensiva uppgifter, som att spela krävande videospel; på samma sätt krävs adekvata specifikationer för att leverera tillfredsställande resultat. I vissa fall kan det också vara nödvändigt med ytterligare åtgärder, t.ex. temperaturregleringssystem. Det bör noteras att driften av en lokal språkmodell kräver ett betydande ekonomiskt åtagande för att förvärva statliga

Långsammare svar och sämre prestanda

En potentiell nackdel med lokalt utplacerade LLM är deras generellt långsammare svarstid jämfört med internetbaserade motsvarigheter. Denna skillnad kanske dock inte är konsekvent i alla fall på grund av faktorer som den specifika AI-modellen och hårdvaran som används. Även om vissa lokala implementeringar kan fungera utmärkt kommer majoriteten av användarna sannolikt att stöta på en märkbar skillnad i respons när de växlar mellan blixtsnabba onlineplattformar och sina egna LLM:er.Följaktligen vore det klokt av användarna att räkna med en betydande variation i användarupplevelsen, ofta kallad “kulturell anpassning”, när de rör sig mellan dessa två områden.

En lokalt driven stor språkmodell (LLM) kommer inte att prestera i nivå med generativa AI-chattbotar online, även om man har en toppmodern konfiguration som en AMD Ryzen 5800X3D i kombination med en Nvidia RTX 4090 och gott om RAM-minne.

Komplex installation

Att installera en lokal Large Language Model (LLM) kan vara en mer komplicerad uppgift jämfört med att bara registrera sig för en webbaserad AI-tjänst (Artificial Intelligence). Medan en internetanslutning gör att du snabbt kan skapa konton för ChatGPT, Bard eller Bing AI, kräver upprättandet av en komplett lokal LLM-miljö nedladdning av nödvändiga ramverk, konfigurering av nödvändig infrastruktur och integrering av flera komponenter. Även om vissa verktyg är utformade för att effektivisera installationsprocessen kan det fortfarande krävas betydande ansträngningar för att ställa in stora modeller, vilket kan ta flera timmar. Det är värt att notera att vissa avancerade AI-lösningar fortfarande kräver betydande tekniska kunskaper innan de kan fungera effektivt på ett lokalt system. I motsats till användarvänligheten hos

Begränsad kunskap

Lokaliserade stora språkmodeller (LLM) har de ofta en inneboende begränsning i sin förmåga att inhämta modern information. Eftersom dessa modeller främst tränas på datamängder som innehåller data fram till ett visst förutbestämt datum, har de ofta begränsad kännedom om händelser som inträffar efter detta datum. Denna brist påminner om de tidigare versionerna av ChatGPT, som inte kunde få tillgång till externa informationskällor och bara kunde ge svar som rörde händelser som inträffat före en viss tidpunkt.

Dessutom kan lokala LLM:er inte få tillgång till live-data från internet. Detta begränsar användbarheten för realtidsförfrågningar som aktiekurser eller väder. För att få tillgång till något som liknar realtidsdata kommer lokala LLM att behöva ytterligare ett lager av integration med internetanslutna tjänster. Internetåtkomst är en av anledningarna till att du bör överväga att uppgradera till ChatGPT Plus!

Bör du använda en lokal LLM?

Lokala stora språkmodeller ger lockande fördelar men har också verkliga nackdelar som man bör överväga innan man tar steget. Mindre censur, bättre integritet, offlineåtkomst, kostnadsbesparingar och anpassningsmöjligheter talar för en lokal LLM.Dessa fördelar kommer dock till ett pris: med massor av fritt tillgängliga LLM på nätet kan det vara som att slå en fluga med en slägga - möjligt men överdrivet. Men kom ihåg att om det är gratis är det sannolikt du och de data du genererar som är produkten. Så det finns inget definitivt rätt eller fel svar idag. Det är dina prioriteringar som avgör om det är rätt tid att byta.