Корпорация Anthropic недавно объявила об амбициозном плане по финансированию разработки новых тестов для оценки производительности и влияния моделей искусственного интеллекта, что ознаменовало важный шаг в области оценки безопасности искусственного интеллекта. Программа предоставит финансирование сторонним организациям для разработки инструментов, которые смогут эффективно измерять расширенные возможности моделей искусственного интеллекта, особенно возможности генеративных моделей ИИ. Этот шаг не только улучшит общий уровень безопасности в области искусственного интеллекта, но также предоставит ценные инструменты оценки для всей экосистемы и решит проблему текущей нехватки высококачественных инструментов оценки, связанных с безопасностью. Инициатива Anthropic заслуживает внимания, но она также вызвала некоторые дискуссии о ее справедливости и направленности.
В понедельник Anthropic объявила о запуске новой инициативы по финансированию разработки новых тестов, которые смогут оценить производительность и влияние моделей искусственного интеллекта, включая генеративные модели, такие как собственная Claude.
Согласно информации, размещенной в официальном блоге Anthropic, компания будет оказывать финансовую поддержку сторонним организациям для разработки инструментов, которые «эффективно измеряют расширенные возможности моделей искусственного интеллекта». Заинтересованные организации могут подать заявку, и оценка будет проводиться по мере поступления.
В Anthropic заявили, что инвестиции направлены на улучшение общей области безопасности искусственного интеллекта и предоставление ценных инструментов для всей экосистемы. Компания считает, что разработка высококачественных оценок безопасности остается сложной задачей, а спрос превышает предложение.
Уделяя особое внимание безопасности ИИ и социальному воздействию, программа планирует создать сложные тесты с помощью новых инструментов, инфраструктуры и методологий. Anthropic специально запросила тесты для оценки возможностей модели в таких областях, как кибератаки, модификации оружия, манипуляции или обман. Кроме того, компания работает над разработкой «системы раннего предупреждения» для выявления и оценки рисков искусственного интеллекта, связанных с национальной безопасностью и обороной.
Anthropic также заявил, что новая программа будет поддерживать исследования, изучающие потенциал искусственного интеллекта для помощи научным исследованиям, общения на нескольких языках, уменьшения предвзятости и самоцензуры. Для достижения этих целей компания предполагает создать новые платформы, которые позволят экспертам проводить оценки и проводить крупномасштабные исследования.
Хотя шаг Anthropic получил высокую оценку, он также вызвал некоторые вопросы. Некоторые считают, что учет коммерческих интересов компании может повлиять на честность финансируемых ею проектов. Кроме того, некоторые эксперты выразили скептицизм по поводу некоторых «катастрофических» и «обманчивых» рисков ИИ, на которые ссылается Anthropic, утверждая, что это может отвлечь от более насущных проблем текущего регулирования ИИ.
Anthropic надеется, что эта инициатива поможет сделать комплексную оценку ИИ отраслевым стандартом. Однако еще неизвестно, захотят ли независимые группы разработчиков тестов ИИ работать с коммерческими поставщиками ИИ.
Потребуется время, чтобы проверить, сможет ли шаг Anthropic успешно способствовать развитию области оценки безопасности с использованием искусственного интеллекта и способствовать установлению более справедливых и всеобъемлющих стандартов оценки. Долгосрочное воздействие и потенциальные ограничения его планов по-прежнему требуют постоянного внимания и оценки.