Anthropic Corporation은 최근 인공 지능 보안 평가 분야에서 중요한 단계를 나타내는 인공 지능 모델의 성능과 영향을 평가하기 위한 새로운 벤치마크 개발에 자금을 지원하겠다는 야심찬 계획을 발표했습니다. 이 프로그램은 인공 지능 모델의 고급 기능, 특히 생성 AI 모델의 기능을 효과적으로 측정할 수 있는 도구를 개발하기 위해 제3자 조직에 자금을 제공할 것입니다. 이러한 움직임은 인공지능 안전 분야의 전반적인 수준을 향상시킬 뿐만 아니라 전체 생태계에 가치 있는 평가 도구를 제공하고 현재 고품질의 안전 관련 평가 도구가 부족한 문제를 해결할 것입니다. Anthropic의 계획은 주목할 만하지만, 그 공정성과 초점에 대한 논의도 촉발했습니다.
Anthropic은 월요일 Claude와 같은 생성 모델을 포함하여 인공 지능 모델의 성능과 영향을 평가할 수 있는 새로운 벤치마크 개발에 자금을 지원하기 위한 새로운 이니셔티브의 출시를 발표했습니다.
Anthropic의 공식 블로그에 게시된 정보에 따르면, 회사는 "인공 지능 모델의 고급 기능을 효과적으로 측정"하는 도구를 개발하기 위해 제3자 조직에 재정적 지원을 제공할 예정입니다. 관심 있는 기관은 신청서를 제출할 수 있으며 평가는 순차적으로 이루어집니다.
Anthropic은 이번 투자가 인공지능 보안의 전반적인 분야를 개선하고 전체 생태계에 가치 있는 도구를 제공하는 것을 목표로 한다고 말했습니다. 회사는 고품질의 안전 관련 평가를 개발하는 것이 여전히 어려운 일이며 수요가 공급을 초과한다고 믿습니다.
AI 안전과 사회적 영향에 초점을 맞춘 이 프로그램은 새로운 도구, 인프라 및 방법론을 통해 도전적인 벤치마크를 만들 계획입니다. Anthropic은 사이버 공격, 무기 개조, 조작 또는 속임수와 같은 영역에서 모델의 기능을 평가하기 위해 특별히 테스트를 요청했습니다. 또한, 국가안보 및 국방 관련 인공지능 위험을 식별하고 평가하기 위한 '조기경보시스템' 개발에도 힘쓰고 있다.
Anthropic은 또한 새로운 프로그램이 과학 연구를 지원하고, 다국어로 의사소통하고, 편견을 완화하고, 자기 검열을 하기 위해 인공 지능의 잠재력을 탐구하는 연구를 지원할 것이라고 말했습니다. 이러한 목표를 달성하기 위해 회사는 전문가가 평가를 개발하고 대규모 시험을 수행할 수 있는 새로운 플랫폼을 구축할 계획입니다.
Anthropic의 움직임은 칭찬을 받았지만 몇 가지 의문도 제기되었습니다. 어떤 사람들은 회사의 상업적 이익을 고려하면 자금 지원을 받는 프로젝트의 공정성이 영향을 받을 수 있다고 생각합니다. 또한 일부 전문가들은 Anthropic이 인용한 일부 "재앙적"이고 "기만적인" AI 위험에 대해 회의적인 입장을 표명하면서 이것이 현재 AI 규제의 더 시급한 문제를 방해할 수 있다고 주장했습니다.
Anthropic은 이 이니셔티브가 포괄적인 AI 평가를 업계 표준으로 만드는 데 도움이 되기를 바랍니다. 그러나 독립적인 AI 벤치마크 개발 그룹이 상용 AI 공급업체와 협력할 의향이 있는지는 아직 알 수 없습니다.
Anthropic의 행보가 인공지능 안전성 평가 분야의 발전을 성공적으로 촉진하고, 보다 공정하고 포괄적인 평가 기준의 확립을 촉진할 수 있는지 테스트하는 데는 시간이 걸릴 것입니다. 계획의 장기적인 영향과 잠재적 한계에 대해서는 여전히 지속적인 관심과 평가가 필요합니다.