Недавно Майлз Брундаж, бывший глава отдела исследований в области политики в Openai, раскритиковал повествовательные изменения компании в области безопасности искусственного интеллекта, заявив, что Openai переписывает свою историю безопасности в системах ИИ. Он сказал, что OpenAI может игнорировать долгосрочные меры безопасности в своем стремлении к общему искусственному интеллекту (AGI).
OpenAI была привержена продвижению своего амбициозного видения, особенно в контексте роста роста конкурентов, таких как DeepSeek. В процессе развития AGI компания часто подчеркивает потенциал агентов супер искусственного интеллекта, но это отношение не было широко признано. Brendage считает, что OpenAI имеет противоречивые повествования о развертывании и безопасности своих существующих моделей искусственного интеллекта.
Недавно Openai опубликовала документ о постепенном развертывании своей модели ИИ, чтобы продемонстрировать свой разумный подход. Принимая GPT-2 в качестве примера в документе, подчеркивает, что при работе с текущей системой следует сохранять высокую степень осторожности. OpenAI, упомянутый в документации: «В прерывистых мирах уроки безопасности приходят из высокой степени осторожности с современными системами, что является именно тем подходом, который мы используем к модели GPT-2».
Однако Брендадж задал вопрос об этом. Он считает, что выпуск GPT-2 также следует постепенному подходу, и эксперты по безопасности высоко оценили осторожную обработку Openai. Он считает, что прошлая осторожность была не чрезмерной, а необходимой и ответственной практикой.
Кроме того, Брендадж выразил обеспокоенность по поводу утверждения Openai о том, что AGI пройдет постепенные шаги, а не внезапные прорывы. Он считает, что недоразумение Openai в истории освобождения GPT-2 и его повторное наражение в истории безопасности беспокоит. Он также отметил, что документы, опубликованные Openai, могут каким-то образом привести к тому, что проблемы безопасности рассматриваются как чрезмерную реакцию, которая может представлять значительные риски в контексте постоянно развивающихся систем ИИ.
Это не первый раз, когда OpenAI подвергается критике, когда эксперты задают вопрос, сделали ли компании разумный компромисс между долгосрочной безопасностью и краткосрочными выгодами. Заборы Брендаджа снова привлекли внимание к безопасности искусственного интеллекта.
Ключевые моменты:
Бывший лидер политики в Openai поставил под сомнение изменения компании в повествовании безопасности искусственного интеллекта, полагая, что это было недопонимание истории.
Документы, опубликованные Openai, подчеркивают важность осторожного освобождения моделей ИИ, но бывшие сотрудники подвергли критике.
Эксперты выразили обеспокоенность по поводу будущего развития систем ИИ.