A Anthropic anunciou um plano ambicioso para financiar o desenvolvimento de novos benchmarks de modelos de IA. O programa visa melhorar a avaliação do desempenho e do impacto do modelo de IA, prestando especial atenção a aspectos importantes como a segurança da IA e o impacto social. A medida destina-se a colmatar deficiências nos benchmarks existentes, tais como a sua incapacidade de capturar eficazmente cenários de aplicação do mundo real e a sua incapacidade de medir com precisão o que afirmam medir. A Antrópica apela ao desenvolvimento de testes de referência mais desafiantes para avaliar as capacidades dos modelos de IA em ataques cibernéticos, melhorias de armas, manipulação de informação, etc., e para explorar o potencial da IA na investigação científica, comunicação multilingue e outros campos. Isso ajudará a fornecer uma compreensão mais abrangente das capacidades e riscos da IA e a promover o desenvolvimento do campo de segurança da IA.
A Anthropic fornecerá apoio financeiro a organizações terceirizadas para incentivá-las a desenvolver métodos de avaliação mais eficazes. Este programa reflete o compromisso da Anthropic em melhorar o campo geral de segurança da IA e promover uma avaliação abrangente da IA como padrão da indústria. No entanto, dados os próprios interesses comerciais da Anthropic, a objetividade e a justiça do seu plano ainda precisam ser consideradas mais detalhadamente. No futuro, o sucesso do programa dependerá do investimento de fundos e de pessoas, bem como do grau de cooperação com outras organizações relevantes.