Deve utilizar um LLM local? 9 Prós e Contras

Key Takeaways

Enquanto os chatbots públicos estão sujeitos a certas limitações e restrições em termos de moderação de conteúdos, os modelos linguísticos locais proporcionam um maior grau de autonomia e flexibilidade quando se trata de explorar assuntos controversos ou sensíveis, resultando em diálogos mais desinibidos.

A utilização de um modelo linguístico local de grande dimensão (LLM) pode melhorar a privacidade dos dados, uma vez que armazena todas as informações geradas localmente, salvaguardando assim a confidencialidade e restringindo o acesso a empresas que operam LLMs públicos que podem potencialmente utilizar indevidamente ou vender os dados dos utilizadores com fins lucrativos.

Os LLM locais podem ser utilizados offline para facilitar o funcionamento contínuo em regiões com conetividade limitada ou intermitente à Internet, oferecendo uma solução prática em ambientes onde os recursos online podem não estar prontamente disponíveis.

O surgimento do ChatGPT em novembro de 2022 levou à adoção generalizada e à popularização do termo “modelo de linguagem grande” (LLM), que antes era conhecido apenas entre os entusiastas da IA como um jargão especializado. Uma das principais atracções de um LLM local reside na sua capacidade de oferecer uma funcionalidade semelhante à de um chatbot baseado na nuvem, como o ChatGPT, eliminando a necessidade de serviços de alojamento externos.

A questão da utilização ou não de um Modelo de Língua de Grande Porte (LLM) instalado localmente tem sido objeto de defensores e detractores, com cada lado a apresentar argumentos convincentes. Neste artigo, pretendemos fornecer uma análise objetiva, examinando os prós e os contras da implementação de um sistema deste tipo. Em última análise, é essencial determinar se um LLM local está de acordo com as necessidades e objectivos específicos de cada um.

Os prós da utilização de LLMs locais

É frequente as pessoas manifestarem grande entusiasmo pela construção de modelos linguísticos personalizados de grande escala para operar nos seus dispositivos informáticos. As razões por detrás deste entusiasmo vão para além da mera ostentação ou do apelo da moda; existem várias vantagens tangíveis que podem ser derivadas de tal empreendimento. Vale a pena considerar estes benefícios práticos antes de embarcar na tarefa de construir um modelo linguístico personalizável.

Menos censura

Quando o ChatGPT e o Bing AI começaram a funcionar, a sua capacidade de discurso e ação revelou-se igualmente cativante e desconcertante. A IA do Bing exibia um ar de afeto e bondade, sugerindo a presença de profundidade emocional. Em contrapartida, o ChatGPT não era avesso a usar palavrões quando solicitado. Durante este período, ambas as inteligências artificiais demonstraram estar prontas para ajudar a fabricar engenhos explosivos através de uma solicitação judiciosa.Embora tais acções possam parecer eticamente duvidosas, estes eventos exemplificam o vasto potencial inerente aos quadros linguísticos que regem as suas operações.

Os chatbots estão atualmente sujeitos a regulamentos de censura rigorosos que os impedem de prestar qualquer assistência na escrita de romances policiais fictícios que contenham violência gráfica. Além disso, alguns chatbots de IA abstêm-se de discutir assuntos sensíveis como a religião e a política. No entanto, a instalação local de grandes modelos de linguagem (LLM) dá aos utilizadores mais liberdade para explorar tópicos controversos sem serem repreendidos por indiscrições morais. Isto permite que os indivíduos se envolvam em conversas sobre assuntos de interesse pessoal sem receberem lições de julgamento de robots.

Melhor privacidade de dados

As pessoas escolhem frequentemente modelos locais de linguagem de grande dimensão (LLMs), uma vez que estes garantem que quaisquer interacções conduzidas através deles permanecem confidenciais e dentro dos limites do seu dispositivo. A utilização de um LLM local é análoga à realização de uma discussão privada no conforto da sua própria casa, onde ninguém de fora pode escutar. Isto é válido quer esteja a explorar os limites das informações do seu cartão de crédito ou a participar em conversas íntimas com o LLM; todos os dados gerados permanecem exclusivamente contidos no seu dispositivo. Em contrapartida, a utilização de LLMs acessíveis ao público, como o GPT-4, expõe os seus registos de comunicação às entidades que controlam estas plataformas.

Utilização offline

A utilização de um modelo de língua local (LLM) para capacidades offline pode parecer insignificante quando se considera a disponibilidade generalizada e a facilidade de acesso à Internet. No entanto, esta caraterística pode ser particularmente crucial em áreas com conetividade limitada ou esporádica, uma vez que permite aos utilizadores operar o sistema independentemente de uma ligação online ativa. Esta capacidade garante que as tarefas podem prosseguir sem interrupções, o que pode ser altamente benéfico em situações em que o acesso fiável à Internet não é garantido.

Poupança de custos

O acesso a modelos de linguagem de grande dimensão de última geração, como o GPT-4 e o Claude 2, implica normalmente uma taxa mensal de cerca de 20 dólares. Embora isto possa parecer razoável à primeira vista, os utilizadores têm de enfrentar várias limitações ao seu investimento. Por exemplo, a utilização do GPT-4 através do ChatGPT restringe os utilizadores a apenas 50 mensagens num período de três horas. Para ultrapassar estas limitações, seria necessário atualizar para o plano mais caro do ChatGPT Enterprise, o que poderia implicar despesas adicionais substanciais.Em contrapartida, a utilização de um LLM instalado localmente elimina a necessidade de subscrições ou taxas mensais contínuas, o que é semelhante à compra de um veículo em vez de depender de serviços de transporte partilhados. Apesar do gasto inicial, a longo prazo

Melhor personalização

Uma limitação dos chatbots de IA acessíveis ao público diz respeito ao grau de personalização que permitem, que é frequentemente limitado por considerações relacionadas com a privacidade e a regulamentação dos conteúdos. Ao alojar um ajudante de IA internamente, os utilizadores podem adaptar o sistema inteiramente às suas preferências individuais. Isto permite a formação com informações exclusivas concebidas especificamente para as suas aplicações particulares, aumentando assim a pertinência e a precisão. A título de exemplo, um profissional da área jurídica pode melhorar o seu modelo de IA localizado para produzir conselhos jurídicos ainda mais exactos. Essencialmente, a principal vantagem reside na capacidade de personalização de acordo com os pré-requisitos específicos de cada um.

Os contras da utilização de LLMs locais

Antes de efetuar a transição, é essencial ter em conta alguns inconvenientes associados à utilização de um Modelo de Linguagem Avançada (LLM) local.

Recurso intensivo

Para obter o melhor desempenho de um modelo de linguagem executado localmente, é imperativo ter hardware de alto desempenho, como unidades centrais de processamento robustas, quantidades substanciais de memória de acesso aleatório e, potencialmente, uma unidade de processamento gráfico dedicada. Embora seja possível utilizar configurações inferiores, como as que se encontram em computadores portáteis económicos com um preço de cerca de quatrocentos dólares, o utilizador pode antecipar resultados abaixo do ideal, especialmente quando trabalha com modelos de inteligência artificial mais avançados. Esta analogia é válida para outras tarefas de computação intensiva, como jogar videojogos exigentes; da mesma forma, são necessárias especificações adequadas para obter resultados satisfatórios. Nalguns casos, podem também ser necessárias medidas adicionais, como sistemas de regulação da temperatura. É de notar que a utilização de um modelo linguístico local exige um compromisso financeiro considerável para a aquisição de um modelo linguístico local.

Respostas mais lentas e desempenho inferior

Uma potencial desvantagem dos LLM implantados localmente é o seu tempo de resposta geralmente mais lento em comparação com os seus homólogos baseados na Internet. No entanto, esta discrepância pode não ser consistente em todas as instâncias devido a factores como o modelo de IA específico e o hardware utilizado. Embora certas implementações locais possam ter um desempenho admirável, é provável que a maioria dos utilizadores se depare com uma diferença percetível na capacidade de resposta ao fazer a transição entre plataformas em linha extremamente rápidas e os seus próprios LLM.Consequentemente, seria prudente que os utilizadores antecipassem uma variação considerável na experiência de utilização, muitas vezes referida como “ajustamento cultural”, quando se deslocam entre estes dois domínios.

Essencialmente, o desempenho de um modelo de linguagem de grande porte (LLM) operado localmente não será igual ao dos chatbots de IA generativa online, mesmo que se possua uma configuração de ponta como um AMD Ryzen 5800X3D emparelhado com um Nvidia RTX 4090 e uma ampla capacidade de RAM.

Configuração complexa

Configurar um Modelo de Linguagem Grande (LLM) local pode ser uma tarefa mais complexa do que simplesmente registar-se num serviço de Inteligência Artificial (IA) baseado na Web. Embora uma ligação à Internet permita criar rapidamente contas para o ChatGPT, Bard ou Bing AI, o estabelecimento de um ambiente LLM local completo exige o descarregamento das estruturas necessárias, a configuração da infraestrutura necessária e a integração de vários componentes. Apesar de certas ferramentas terem sido concebidas para simplificar o processo de instalação, a configuração de modelos de grandes dimensões pode ainda exigir um esforço considerável, podendo demorar várias horas. É de salientar que algumas soluções de IA de última geração continuam a necessitar de uma proficiência técnica substancial antes de poderem funcionar eficazmente num sistema local. Consequentemente, ao contrário da facilidade de utilização associada aos

Conhecimento Limitado

Modelos Linguísticos de Grande Porte Localizados (LLMs) apresentam frequentemente uma limitação inerente à sua capacidade de aquisição de informação contemporânea. Devido ao facto de estes modelos serem treinados principalmente em conjuntos de dados que contêm dados até uma data de corte específica pré-determinada, têm frequentemente um conhecimento limitado de ocorrências posteriores a essa data. Esta deficiência é uma reminiscência das iterações anteriores do ChatGPT, que não conseguiam aceder a fontes externas de informação e só podiam fornecer respostas relativas a eventos que tinham ocorrido antes de um determinado momento.

Além disso, os LLM locais não podem aceder a dados da Internet em tempo real. Isto restringe a utilidade de consultas em tempo real, como preços de acções ou meteorologia. Para usufruir de uma aparência de dados em tempo real, os LLMs locais necessitarão normalmente de uma camada adicional de integração com serviços ligados à Internet. O acesso à Internet é uma das razões pelas quais pode considerar a atualização para o ChatGPT Plus!

Deve usar um LLM local?

Os modelos locais de grandes línguas oferecem vantagens tentadoras, mas também têm desvantagens reais que devem ser consideradas antes de se darem ao trabalho. Menos censura, melhor privacidade, acesso offline, economia de custos e personalização são argumentos convincentes para configurar seu LLM localmente.No entanto, estes benefícios têm um preço: com muitos LLMs disponíveis gratuitamente na Internet, ir para os LLMs locais pode ser como matar uma mosca com uma marreta - possível, mas exagerado. Mas lembre-se, se é gratuito, o produto é provavelmente você e os dados que gera. Por isso, não existe uma resposta definitiva certa ou errada atualmente. A avaliação das suas prioridades determinará se este é o momento certo para fazer a mudança.