Embora os grandes modelos de linguagem (LLM), como ChatGPT, Claude e Gemini, sejam poderosos, eles também têm uma grande falha comum: muitas vezes produzem alucinações, ou seja, informações fictícias. Isto não é apenas embaraçoso, mas também dificulta a aplicação mais ampla do LLM. Até a Apple expressou preocupação sobre como seus próprios sistemas de IA responderão a esse problema. Para resolver este problema, os investigadores desenvolveram um novo detector de alucinações de IA que pode identificar eficazmente conteúdos falsos gerados pela IA, estabelecendo as bases para o avanço da tecnologia de IA e aplicações mais seguras e fiáveis.
Essas ilusões levam a muitos erros embaraçosos e intrigantes e são uma das principais razões pelas quais a inteligência artificial como o ChatGPT ainda não se tornou mais prática. Certa vez, vimos o Google ter que revisar sua visão geral de pesquisa de IA porque a IA começou a dizer às pessoas que era seguro comer pedras e que era seguro colocar cola na pizza. Houve até advogados que usaram o ChatGPT para ajudar a redigir documentos judiciais, apenas para serem multados porque o chatbot fez citações nos documentos.
De acordo com o artigo, o novo algoritmo desenvolvido pelos pesquisadores pode ajudar a discernir se as respostas geradas pela IA são precisas em cerca de 79% das vezes. Claro, este não é um registro perfeito, mas é 10% melhor do que outros métodos convencionais atuais.
Chatbots como Gemini e ChatGPT podem ser úteis, mas também podem gerar facilmente respostas fictícias. A pesquisa foi conduzida por membros do Departamento de Ciência da Computação da Universidade de Oxford. Os pesquisadores explicaram em seu artigo que o método usado era relativamente simples.
Primeiro, eles pediram ao chatbot que respondesse ao mesmo prompt várias vezes, normalmente de cinco a dez vezes. Eles então calcularam um valor que chamamos de entropia semântica, que é uma medida de quão semelhantes ou diferentes são as respostas em termos de significado. Se o modelo responder a cada item do prompt de forma diferente, a pontuação de entropia semântica será maior, indicando que a IA pode estar inventando as respostas. No entanto, se as respostas forem todas iguais ou tiverem significados semelhantes, a pontuação da entropia semântica será menor, indicando que as respostas fornecidas são mais consistentes e provavelmente verdadeiras. Este não é um detector de alucinações de IA 100% preciso, mas é uma maneira interessante de lidar com isso.
Outros métodos baseiam-se na chamada entropia ingénua, que normalmente verifica se o texto de uma resposta difere, em vez do seu significado. Portanto, é menos provável detectar alucinações com tanta precisão quanto calcular a entropia semântica porque não se concentra no significado por trás das palavras da frase.
Os pesquisadores dizem que o algoritmo poderia ser adicionado a chatbots como o ChatGPT por meio de um botão que daria aos usuários uma “pontuação de certeza” para respostas às suas solicitações. É tentador construir detectores de alucinações de IA diretamente em chatbots, por isso é compreensível adicionar essas ferramentas a vários chatbots.
Embora este detector de alucinações de IA baseado na entropia semântica não seja perfeito, sua precisão de 79% e 10% de vantagem sobre os métodos existentes fornecem novas idéias e métodos para resolver o problema de alucinações de IA. Esta investigação irá, sem dúvida, promover o avanço da tecnologia de IA e tornar os sistemas de IA mais fiáveis e confiáveis.