A pesquisa mais recente da IBM revela um fenômeno preocupante: grandes modelos de idiomas como GPT-4 e GPT-3.5 podem ser facilmente enganados, gerar código malicioso ou fornecer conselhos falsos de segurança. Os pesquisadores apontaram que, mesmo com o conhecimento básico em inglês e uma simples compreensão dos dados de treinamento de modelos, os invasores podem manipular com sucesso esses chatbots da IA. Essa descoberta destaca os riscos potenciais das tecnologias atuais de IA, especialmente no campo da segurança cibernética.
Existem diferenças significativas no desempenho de diferentes modelos de IA diante da fraude, com o GPT-3.5 e o GPT-4 mostrando maior vulnerabilidade. Essa diferença pode estar relacionada à escala de dados de treinamento do modelo, design de arquitetura e mecanismo de geração de diálogo. O estudo também mostra que, embora o nível de ameaça dessas vulnerabilidades seja avaliado como moderado, as consequências podem ser muito sérias se exploradas pelos hackers. Por exemplo, atores maliciosos podem espalhar conselhos de segurança perigosos por meio desses modelos ou até roubar informações confidenciais dos usuários.
A equipe de pesquisa enfatizou que, embora essas vulnerabilidades não tenham sido amplamente exploradas, os desenvolvedores e empresas de IA devem atribuir grande importância a esse problema. Com o uso generalizado da tecnologia de IA em vários campos, garantir que sua segurança e confiabilidade se tornassem particularmente importantes. Os pesquisadores sugerem que os modelos futuros de IA devem fortalecer o treinamento adversário para melhorar sua capacidade de identificar e defender insumos fraudulentos.
Além disso, este estudo provocou discussões aprofundadas sobre ética e regulamentação da IA. Com o rápido desenvolvimento da tecnologia de IA, como encontrar um equilíbrio entre inovação e segurança se tornou um desafio comum que a interface de tecnologia global enfrenta. Especialistas pedem aos governos e agências relevantes que desenvolvam regulamentos mais rigorosos de uso de IA para impedir que a tecnologia seja abusada.
No geral, a pesquisa da IBM soou um alerta para o campo da IA. Embora os grandes modelos de linguagem mostrem recursos fortes no processamento de linguagem natural, seus riscos potenciais de segurança não podem ser ignorados. No futuro, o desenvolvimento adicional da tecnologia de IA precisa melhorar o desempenho, prestando mais atenção à segurança e às questões éticas para garantir que ela possa trazer valor real à sociedade.