Anthropic公司近日宣布了一项雄心勃勃的计划，旨在资助开发用于评估人工智能模型性能和影响的新型基准，这标志着人工智能安全评估领域迈出了重要一步。该计划将向第三方组织提供资金，用于开发能够有效衡量人工智能模型先进能力，特别是生成式AI模型能力的工具。此举不仅能提升人工智能安全领域整体水平，更将为整个生态系统提供宝贵的评估工具，解决目前高质量安全相关评估工具匮乏的问题。Anthropic的这一倡议值得关注，但也引发了一些关于其公正性和关注重点的讨论。
Anthropic公司周一宣布启动一项新计划，旨在资助开发能够评估人工智能模型性能和影响的新型基准，包括像其自家Claude这样的生成模型。
根据Anthropic官方博客发布的信息，该公司将向第三方组织提供资金支持，以开发"有效衡量人工智能模型先进能力"的工具。感兴趣的组织可以提交申请，评估将以滚动方式进行。
Anthropic表示，这项投资旨在提升整个人工智能安全领域，为整个生态系统提供宝贵工具。公司认为，开发高质量、与安全相关的评估仍具挑战性，且需求超过供应。
该计划重点关注人工智能安全和社会影响，计划通过新工具、基础设施和方法创建具有挑战性的基准。Anthropic特别要求进行测试，以评估模型在网络攻击、武器改进、操纵或欺骗等方面的能力。此外，公司还致力于开发一种用于识别和评估国家安全和国防相关人工智能风险的"预警系统"。
Anthropic还表示，新计划将支持探究人工智能在辅助科学研究、多语言交流、减轻偏见以及自我审查等方面潜力的研究。为实现这些目标，公司设想建立新平台，让专家开发评估并进行大规模试验。
虽然Anthropic的这一举措受到赞扬，但也引发了一些质疑。有观点认为，考虑到公司的商业利益，其资助项目的公正性可能受到影响。此外，对于Anthropic提到的某些"灾难性"和"欺骗性"人工智能风险，一些专家表示怀疑，认为这可能会分散对当前更紧迫的人工智能监管问题的注意力。
Anthropic希望这一计划能推动全面的人工智能评估成为行业标准。然而，独立的人工智能基准开发团体是否愿意与商业人工智能供应商合作，仍有待观察。
Anthropic此举能否成功推动人工智能安全评估领域的发展，并促进更加公正和全面的评估标准的建立，还需要时间的检验。 其计划的长期影响和潜在的局限性仍需持续关注和评估。