O ChatGPT está a ficar mais burro? A OpenAI diz que não

Tem havido uma pergunta recorrente nas plataformas de redes sociais, como o Twitter e o subreddit ChatGPT do Reddit, que diz respeito ao declínio da inteligência do ChatGPT.

Será que o desempenho geral do chatbot de inteligência artificial generativa mais proeminente está a diminuir com o passar do tempo, ou será possível que os numerosos utilizadores do ChatGPT estejam a perceber coletivamente um declínio na qualidade devido a alguma forma de alucinação?

O ChatGPT está a piorar?

A questão de saber se o ChatGPT está ou não a tornar-se menos inteligente tem sido um assunto de contemplação para muitos dos seus utilizadores. A equipa de desenvolvimento da OpenAI emite periodicamente actualizações para o ChatGPT com a intenção de refinar as suas respostas, garantir a sua segurança e outros aspectos, utilizando o feedback dos utilizadores, avisos e dados para orientar o seu curso de ação.

Apesar da sua promessa inicial como uma panaceia para uma série de problemas aquando da sua introdução, muitos utilizadores têm tido dificuldades com o desempenho do ChatGPT nos últimos tempos. Em particular, tem havido relatos de deficiências na sua capacidade de raciocinar logicamente, codificar eficazmente e efetuar cálculos matemáticos com precisão. Além disso, alguns utilizadores notaram que o ChatGPT também não é particularmente hábil a lidar com tarefas criativas.

Um dos métodos mais simples que a maioria dos utilizadores do ChatGPT pode empregar para avaliar a evolução das respostas do modelo é reeditar uma pergunta utilizada anteriormente, de preferência uma das fases iniciais do ChatGPT, e comparar os resultados gerados pela versão atual do modelo com os produzidos durante a sua implementação inicial.

A comparação de respostas que exigem resultados precisos, como as relacionadas com a programação e a matemática, é relativamente simples.

Estudo de Stanford sugere queda do ChatGPT

Um grupo de pesquisa combinado da Universidade de Stanford e da UC Berkley acredita que os sentimentos de que o ChatGPT está a mudar podem estar certos. O artigo de Lingjiao Chen, Matei Zaharia e James Zou How Is ChatGPT’s Behavior Changing over Time? [PDF] é um dos primeiros estudos aprofundados sobre a evolução das capacidades do ChatGPT.

O resumo do relatório explica:

As flutuações temporais no desempenho e na conduta tanto do GPT-3.5 como do GPT-4 foram observadas como sendo pronunciadas. Por exemplo, em março de 2023, o GPT-4 demonstrou uma aptidão excecional para detetar números primos com uma precisão de 97,6%, mas em junho de 2023, a sua proficiência a este respeito caiu para 2,4%. Por outro lado, a competência do GPT-3.5 nesta tarefa melhorou significativamente de junho de 2023 para março de 2023.Nomeadamente, o GPT-4 mostrou relutância em responder a questões sensíveis em junho de 2023, em comparação com março de 2023, e tanto o GPT-4 como o GPT

A proficiência anterior do ChatGPT na resolução de problemas matemáticos encontrados durante 2023 diminuiu significativamente, como manifestado pelas suas respostas erradas a esses problemas no final do ano. Além disso, ao fornecer explicações para as suas respostas incorrectas, apresentou justificações pormenorizadas que pareciam razoáveis, mas que, na realidade, eram erradas. Este fenómeno não é inédito, mas os dados apresentados nos gráficos abaixo indicam um declínio alarmante das capacidades de raciocínio lógico da máquina.

Crédito da imagem: Stanford/Berkeley Crédito da imagem: Stanford/Berkeley

Os dados apresentados na representação gráfica indicam uma tendência discernível para a divergência na natureza das respostas do ChatGPT, tal como evidenciado pelo relatório que o acompanha, que serve para reforçar esta observação.

Em junho, o desempenho do GPT-4 deteriorou-se significativamente, com a sua precisão a cair de 97,6% em março para apenas 2,4%, enquanto o GPT-3.5 mostrou uma melhoria acentuada, subindo de 7,4% para 86,8%. Além disso, o tamanho das respostas do GPT-4 diminuiu notavelmente, passando de uma média de 821,2 caracteres em março para 3,8 caracteres em junho. Em contrapartida, o tamanho das respostas do GPT-3.5 aumentou em cerca de 40%. Além disso, o grau de sobreposição entre as respostas dadas por estes dois modelos em março e junho foi mínimo.

O último relatório salienta que, durante o mês de junho, o modelo de linguagem avançado do ChatGPT teve dificuldades em processar as questões que lhe foram colocadas, o que resultou numa tentativa infrutífera de gerar respostas adequadas. Esta ocorrência não é invulgar para modelos de linguagem deste tipo, no entanto, a disparidade substancial nas respostas indicou que existiam problemas de desempenho subjacentes e foram efectuadas modificações no ChatGPT.

O ChatGPT está a piorar? A OpenAI diz que não

É digno de nota que alguns observadores comentaram sobre um declínio percetível no calibre do ChatGPT, o que levou a especulações sobre se essa tendência é simplesmente uma ocorrência casual ou se pode haver fatores subjacentes em jogo.

Parece que o artigo de pesquisa acima mencionado não concorda com este ponto de vista,

Além disso, Welinder destacou as recentes divulgações da OpenAI sobre o desenvolvimento do ChatGPT, bem como o fluxo consistente de atualizações que foram fornecidas pela organização ao longo do ano de 2023.

Não obstante as observações acima mencionadas, chegou ao nosso conhecimento que um número considerável de respostas ao tweet acima mencionado dizia respeito às inadequações das respostas do ChatGPT, com várias pessoas a dedicarem os seus esforços a fornecer anotações tanto para os prompts como para as respostas.

Pode o OpenAI restaurar o ChatGPT ao seu estado original?

A lembrança da génese do ChatGPT parece ser remota e indistinta no presente, com o reino da inteligência artificial a progredir rapidamente, evocando uma imagem desfocada de novembro de 2022.

O estudo acima referido, realizado pelas universidades de Stanford e Berkeley, foi objeto de opiniões diversas quanto aos desafios e desilusões associados à utilização do ChatGPT. Alguns defendem que as modificações implementadas no ChatGPT para aumentar a sua segurança e inclusividade prejudicaram significativamente a sua capacidade de raciocínio lógico, tornando-o numa ferramenta inservível.

Não parece haver dúvidas de que o ChatGPT sofreu uma transformação, mas a perspetiva de recuperar a sua antiga excelência permanece uma questão em aberto.