A Anthropic Corporation anunciou recentemente um plano ambicioso para financiar o desenvolvimento de novos benchmarks para avaliar o desempenho e o impacto dos modelos de inteligência artificial, marcando um passo importante no campo da avaliação de segurança da inteligência artificial. O programa fornecerá financiamento a organizações terceiras para desenvolverem ferramentas que possam medir eficazmente as capacidades avançadas dos modelos de inteligência artificial, especialmente as capacidades dos modelos generativos de IA. Esta medida não só melhorará o nível global do domínio da segurança da inteligência artificial, mas também fornecerá ferramentas de avaliação valiosas para todo o ecossistema e resolverá a actual falta de ferramentas de avaliação de alta qualidade relacionadas com a segurança. A iniciativa da Antrópica é digna de nota, mas também suscitou alguma discussão sobre a sua justiça e foco.
A Anthropic anunciou na segunda-feira o lançamento de uma nova iniciativa para financiar o desenvolvimento de novos benchmarks que possam avaliar o desempenho e o impacto de modelos de inteligência artificial, incluindo modelos generativos como o seu próprio Claude.
De acordo com informações postadas no blog oficial da Anthropic, a empresa fornecerá apoio financeiro a organizações terceirizadas para desenvolver ferramentas que “meçam efetivamente as capacidades avançadas dos modelos de inteligência artificial”. As organizações interessadas podem submeter uma candidatura e a avaliação será feita de forma contínua.
A Antrópica disse que o investimento visa melhorar o campo geral da segurança da inteligência artificial e fornecer ferramentas valiosas para todo o ecossistema. A empresa acredita que o desenvolvimento de avaliações de alta qualidade relacionadas com a segurança continua a ser um desafio e a procura excede a oferta.
Com foco na segurança e no impacto social da IA, o programa planeja criar benchmarks desafiadores por meio de novas ferramentas, infraestrutura e metodologias. A Antrópica solicitou testes especificamente para avaliar as capacidades do modelo em áreas como ataques cibernéticos, modificações de armas, manipulação ou engano. Além disso, a empresa está a trabalhar no desenvolvimento de um “sistema de alerta precoce” para identificar e avaliar riscos de segurança nacional e de inteligência artificial relacionados com a defesa.
A Antrópico também disse que o novo programa apoiará pesquisas que exploram o potencial da inteligência artificial para auxiliar a pesquisa científica, comunicar-se em vários idiomas, mitigar preconceitos e autocensura. Para atingir estes objetivos, a empresa prevê a construção de novas plataformas que permitirão aos especialistas desenvolver avaliações e realizar ensaios em grande escala.
Embora a ação da Antrópica tenha sido elogiada, ela também levantou algumas questões. Algumas pessoas acreditam que tendo em conta os interesses comerciais da empresa, a justiça dos seus projectos financiados pode ser afectada. Além disso, alguns especialistas expressaram ceticismo sobre alguns dos riscos “catastróficos” e “enganosos” da IA citados pela Anthropic, argumentando que isso poderia desviar a atenção das questões mais urgentes da atual regulamentação da IA.
A Antthropic espera que esta iniciativa ajude a tornar as avaliações abrangentes de IA o padrão da indústria. No entanto, resta saber se grupos independentes de desenvolvimento de benchmarks de IA estarão dispostos a trabalhar com fornecedores comerciais de IA.
Levará algum tempo para testar se a ação da Anthropic pode promover com sucesso o desenvolvimento do campo de avaliação de segurança da inteligência artificial e promover o estabelecimento de padrões de avaliação mais justos e abrangentes. O impacto a longo prazo e as potenciais limitações dos seus planos ainda requerem atenção e avaliação contínuas.