Recentemente, uma descoberta inovadora no campo da pesquisa da IA atraiu atenção generalizada. Por meio de uma técnica inovadora chamada "Ataque de Poesia", os pesquisadores revelaram com sucesso a fonte de dados de treinamento para o modelo ChatGPT da OpenAI. Essa descoberta não apenas expõe as vulnerabilidades potenciais de segurança nos atuais modelos de grandes idiomas, mas também soa o alarme para o mecanismo de proteção à privacidade dos sistemas de IA.
A estratégia central de "ataque poético" é induzir o modelo ChatGPT a vazar informações sensíveis a seus dados de treinamento repetindo palavras ou frases específicas. O que é chocante é que esse método de ataque aparentemente simples pode extrair com sucesso dados de privacidade pessoal, incluindo números de telefone, endereços de e -mail etc. A descoberta dessa vulnerabilidade destaca a vulnerabilidade dos sistemas atuais de IA em segurança de dados.
A equipe de pesquisa informou oficialmente o OpenAI dessa vulnerabilidade de segurança em 30 de agosto, mas até agora o Openai ainda não respondeu a isso. Esse incidente mais uma vez desencadeou o pensamento aprofundado do setor sobre a transparência e a segurança dos sistemas de IA e também levou as instituições relevantes a reexaminar o processo de desenvolvimento e implantação dos modelos de IA.
Além das questões de segurança, este estudo também enfatiza questões de custo ambiental no desenvolvimento da tecnologia de IA. Os pesquisadores apontam que a energia consumida por modelos generativos de IA ao criar texto e imagens é incrível, e esse modelo de consumo de alta energia é contrário ao conceito de desenvolvimento sustentável. Portanto, ao promover o avanço da tecnologia de IA, como obter uma maneira mais ecológica de usar a IA se tornou uma questão importante que precisa ser resolvida com urgência.
Este estudo não apenas revela os defeitos técnicos nos sistemas atuais de IA, mas também aponta a direção para o desenvolvimento futuro da indústria de IA. Isso nos lembra que, ao perseguir avanços na tecnologia de IA, devemos lidar cuidadosamente com questões importantes, como proteção à privacidade e consumo de energia. Somente equilibrando a relação entre inovação tecnológica, privacidade e segurança e proteção ambiental, podemos garantir que a tecnologia de IA realmente beneficie a sociedade humana.