Быстрый прогресс технологий искусственного интеллекта изменяет структуру технологической отрасли, и многие технологические гиганты посвятили себя исследованиям и разработкам и развертыванию систем «агента ИИ». Эти интеллектуальные системы могут независимо выполнять сложные задачи без необходимости непрерывного вмешательства человека, демонстрируя беспрецедентный потенциал автоматизации. Такие компании, как Microsoft и Anpropic, взяли на себя лидерство в запуске своих соответствующих решений для AI Proxy, однако, Openai, как лидер отрасли, оставался осторожным в этой области и не выпускала связанных продуктов. решение. .
Согласно авторитетным технологическим средствам массовой информации «Информация», осторожное отношение Openai в основном связано с опасениями по поводу «оперативных инъекций». Этот новый тип кибератаки может побудить системы ИИ выполнять вредоносные инструкции, что вызывает серьезные риски безопасности. Например, когда пользователь разрешает агента искусственного интеллекта для покупок в Интернете, система может быть вызвана доступа к вредоносным веб -сайтам и выполнять опасные операции, такие как кража информации по электронной почте или данные по кредитным картам. Эта уязвимость безопасности может не только привести к утечке конфиденциальности пользователей, но также нанесет непоправимый ущерб репутации бренда Openai.
Что уникально в прокси -системах ИИ, так это то, что они имеют возможность самостоятельно управлять компьютерами, что заставляет их сталкиваться с гораздо большим риском безопасности, чем традиционные системы ИИ. После взлома эти агенты могут нанести системный ущерб цифровым активам пользователей. Внутренний техник OpenAI признал, что, хотя все крупные языковые модели, вероятно, будут атакованы, характеристики автономии агентов искусственного интеллекта значительно усиливают этот риск.
Угроза инъекционных атак не является резкой, и этот риск был полностью подтвержден на других платформах. В прошлом году эксперт по кибербезопасности успешно продемонстрировал, как манипулировать системой AI Microsoft Copilot AI, чтобы утечь конфиденциальную информацию от организаций, включая контент электронной почты и записи о банковских транзакциях. Еще более шокирующим является то, что злоумышленники могут отправлять фальшивые электронные письма, подражающие стилю написания конкретных сотрудников, подчеркивая уязвимость систем ИИ с точки зрения защиты.
Флагманский продукт Openai, Chatgpt, также был протестирован с помощью быстрого инъекционного атаки. Исследователи успешно имплантировали ложную «память» путем загрузки сторонних файлов (таких как документы Word), и этот эксперимент полностью раскрыл потенциальные уязвимости в системе ИИ. Столкнувшись с такой серьезной проблемой безопасности, команда Openai выразила удивление в отношении свободного отношения своего конкурента «Антропический», когда она выпустила своего агента искусственного интеллекта. Anpropic только советует разработчикам «принять меры для изоляции Claude от конфиденциальных данных», что является относительно простой мерой безопасности, которая, очевидно, трудно справиться со все более сложными киберугрозами.
Сообщается, что OpenAI может запустить свой продукт AI Proxy в этом месяце. Тем не менее, вопрос об общей озабоченности в отрасли заключается в том, является ли дополнительное время, когда команда разработчиков приобрела достаточно, чтобы создать достаточно сильную систему безопасности? Благодаря быстрому развитию технологий искусственного интеллекта, как найти баланс между инновациями и безопасностью, станет важной проблемой, с которой сталкиваются все компании искусственного интеллекта.
Основные пункты:
OpenAI задержал освобождение агентов искусственного интеллекта из -за рисков безопасности при инъекционных атак, подчеркивая потенциальные риски систем ИИ.
Хотя такие компании, как Microsoft и Anpropic, запустили продукты AI -агента, меры безопасности по -прежнему недостаточны.
OpenAI работает над повышением эффективности безопасности своих продуктов для борьбы со все более сложными киберугрозами.