В последние годы платформы создания изображений с помощью искусственного интеллекта быстро развиваются, но они также сталкиваются с проблемами в области безопасности контента. Midjourney, популярная платформа для создания изображений с использованием искусственного интеллекта, недавно привлекла широкое внимание из-за уязвимостей системы фильтрации NSFW и ослабления фильтрации изображений обнаженной натуры в новых версиях. Этот инцидент подчеркивает недостатки платформ искусственного интеллекта в модерации и безопасности контента, а также влияние на пользовательский опыт. В этой статье будет проанализирован этот инцидент на платформе Midjourney и изучены его потенциальные риски и влияние на будущее развитие платформы ИИ.
Графическая платформа искусственного интеллекта Midjourney случайно сгенерировала неприемлемый контент и нарушила собственные правила. Исследования обнаружили уязвимости в системе фильтрации NSFW, а новая версия упростила фильтрацию изображений обнаженной натуры, что вызывает обеспокоенность. Несоответствия на платформе могут привести к тому, что пользователи случайно получат оскорбительный контент.
Инцидент в Midjourney напоминает нам, что платформам искусственного интеллекта необходимо усилить механизмы проверки контента и улучшить системы фильтрации, чтобы избежать создания и распространения нежелательного контента. В то же время платформы должны усилить обучение пользователей и повысить осведомленность пользователей о рисках, связанных с контентом, созданным ИИ. Только таким образом мы сможем обеспечить здоровое и безопасное развитие технологий искусственного интеллекта и предоставить пользователям более безопасный и комфортный опыт.