Отчет редактора Downcodes: Команда InstantX вместе с исследовательскими группами из Нанкинского университета науки и технологий, Бэйханского университета и Пекинского университета совместно разработала новую модель переноса стилей под названием CSGO. Эта модель призвана преодолеть узкое место в технологии создания изображений, особенно добиться значительных улучшений в интеграции контента и стиля. Модель CSGO поддерживает три режима передачи стилей, охватывающие различные сценарии применения, такие как изображения и изображения, изображения и текст, а также изображения для редактирования текста, демонстрируя свою мощную функциональность и гибкость. Давайте поближе познакомимся с этой впечатляющей моделью ИИ.
Недавно команда InstantX вместе с исследовательскими группами из Нанкинского университета науки и технологий, Бэйханского университета и Пекинского университета совместно разработала новую модель переноса стилей под названием CSGO, направленную на улучшение технологии генерации изображений, особенно в сочетании контента и стиля.
CSGO в основном поддерживает 3 режима миграции стилей, а именно:
1. Изображения контента + эталонные изображения стиля для синтеза изображений стиля контента. Например, в следующем случае, если вы дадите исходное изображение, стиль которого необходимо изменить, например «медведь, дом», а затем дадите эталонное изображение стиля, вы можете изменить стиль исходного изображения на эталонное. стильная картинка.
2. Справочные изображения стилей + текстовые подсказки для синтеза изображений стилей с текстовым содержимым. Например, в следующем случае, если дано изображение эталонного стиля и дана текстовая подсказка, например «кот, собака, человек, панда», может быть сгенерировано соответствующее изображение стиля контента.
3) Редактировать указанный объект на картинке посредством текста.
В основе модели CSGO лежит уникальный процесс построения данных. Исследовательская группа тщательно разработала конвейер генерации и автоматической очистки для создания крупномасштабного набора данных для передачи стилей под названием IMAGStyle. Этот набор данных содержит 210 000 троек изображений и стал важным ресурсом для академических исследований и изучения технологий генерации изображений.
Концепция дизайна этой модели очень новаторская. CSGO позволяет четко различать особенности контента и стиля в процессе создания изображения. Преимущество этой модели, по словам исследователей, заключается в ее сквозном методе обучения, что означает, что на этапе вывода не требуется никакой тонкой настройки.
В то же время еще одной особенностью модели CSGO является то, что она сохраняет способность генерации исходной модели преобразования текста в изображение без обучения UNet. Благодаря этим инновациям CSGO обеспечивает передачу стилей на основе изображений, синтез стилей на основе текста и синтез стилей на основе редактирования текста.
Что касается экспериментальных результатов, CSGO показал себя очень хорошо. Исследователи предоставили ряд количественных и визуальных сравнительных данных, провели всестороннее сравнение с новейшими существующими методами и продемонстрировали преимущества CSGO в возможностях управления стилем.
Выделять:
Модель CSGO успешно сгенерировала набор данных IMAGStyle, содержащий 210 000 троек изображений, с помощью инновационного конвейера построения данных.
Модель обеспечивает четкое разделение контента и стиля и поддерживает несколько методов генерации, включая передачу стилей на основе изображений и текста.
? Результаты экспериментов показывают, что CSGO превосходит существующие технологии с точки зрения возможностей управления стилем, демонстрируя новый уровень генерации изображений.
Появление модели CSGO знаменует собой новый прорыв в технологии генерации изображений. Его выдающиеся характеристики в передаче стиля и инновационные методы построения данных открывают новые направления и вдохновляют для будущих исследований в области создания изображений. Редактор Downcodes надеется, что модель CSGO будет применяться в большем количестве областей и принесет нам более захватывающий визуальный опыт!