Как будет выглядеть искусственный интеллект (ИИ) в будущем? Представьте, что они могут понимать и выполнять сложные задачи с помощью простой команды; они также могут визуально фиксировать выражение и движения пользователя, чтобы определить его эмоциональное состояние; Это уже не сцена из голливудского фантастического фильма, а «мультимодальный ИИ», постепенно входящий в реальность.
Согласно недавнему отчету американского веб-сайта Forbes, такие гиганты, как Metaverse Platform Company, OpenAI и Google, запустили свои собственные мультимодальные системы искусственного интеллекта и не жалеют усилий для увеличения инвестиций в исследования и разработки таких систем и стремятся улучшать различные модели для повышения точности вывода динамического контента, тем самым улучшая взаимодействие между ИИ и пользователями.
Мультимодальный ИИ знаменует собой смену парадигмы. Это глубоко изменит облик многих отраслей и изменит цифровой мир.
Предоставление ИИ «мультисенсорных» возможностей
Как люди понимают мир? Мы полагаемся на множество органов чувств, таких как зрение, слух и осязание, чтобы получать информацию из бесчисленных источников. Человеческий мозг объединяет эти сложные шаблоны данных, чтобы нарисовать яркую «картину» реальности.
Официальный сайт IBM определяет мультимодальный ИИ следующим образом: он может интегрировать и обрабатывать модели машинного обучения из нескольких модальностей (типов данных), включая ввод в виде текста, изображений, аудио, видео и т. д. Это все равно, что дать ИИ целый набор чувств, чтобы он мог воспринимать и понимать входную информацию под разными углами.
Эта способность понимать и создавать информацию в различных модальностях превзошла предыдущий одномодальный ИИ, который фокусировался на интеграции и обработке конкретных источников данных, и завоевала благосклонность крупных технологических гигантов.
На конференции Mobile Communications в этом году компания Qualcomm впервые представила разработанную ею большую мультимодальную модель для телефона Android. Независимо от того, вводят ли пользователи фотографии, голос или другую информацию, они могут беспрепятственно общаться с помощником ИИ. Например, пользователи могут сфотографировать еду и спросить ИИ-помощника: что это за ингредиенты? Какие блюда можно приготовить? Сколько калорий в каждом блюде? AI-помощник может давать подробные ответы на основе информации о фотографии.
В мае этого года OpenAI выпустила мультимодальную модель GPT-4o, которая поддерживает ввод и вывод любой комбинации текста, звука и изображений. Впоследствии на следующий день Google также выпустила свой новейший мультимодальный продукт искусственного интеллекта Gemini 1.5 Pro.
25 сентября компания Metaverse Platform выпустила свою последнюю модель большого языка с открытым исходным кодом Llama 3.2. Генеральный директор компании Марк Цукерберг заявил в программной речи, что это первая мультимодальная модель компании с открытым исходным кодом, которая может одновременно обрабатывать текстовые и визуальные данные, что отмечает значительный прогресс ИИ в понимании более сложных сценариев приложений.
Тихое содействие изменениям в различных областях
Мультимодальный ИИ незаметно меняет облик многих областей.
В области здравоохранения программа Watson Health от IBM всесторонне анализирует данные визуализации пациентов, тексты медицинских записей и генетические данные, чтобы помочь врачам более точно диагностировать заболевания и оказать решительную поддержку врачам в разработке индивидуальных планов лечения для пациентов.
Креативная индустрия также претерпевает трансформацию. Эксперты по цифровому маркетингу и кинематографисты используют эту технологию для создания персонализированного контента. Представьте себе, что с помощью простой подсказки или концепции система искусственного интеллекта может написать убедительный сценарий, создать раскадровку (серию иллюстраций, объединенных вместе, чтобы сформировать визуальную историю), создать саундтрек и даже произвести предварительные нарезки сцен.
Область образования и обучения также движется в сторону персонализированного обучения с помощью мультимодального искусственного интеллекта. Платформа адаптивного обучения, разработанная компанией Newton Company в США, может использовать мультимодальный искусственный интеллект для глубокого анализа учебного поведения, выражений и голосов учащихся, а также корректировки содержания и сложности обучения в режиме реального времени. Экспериментальные данные показывают, что этот метод позволяет повысить эффективность обучения студентов на 40%.
Обслуживание клиентов также является одним из интересных применений мультимодальных систем искусственного интеллекта. Чат-боты могут не только отвечать на текстовые запросы, но и понимать тон голоса клиента, анализировать выражение его лица и отвечать соответствующими языковыми и визуальными подсказками. Это более человечное общение обещает революционизировать способы взаимодействия бизнеса с клиентами.
Проблемы технологической этики все еще необходимо преодолеть
Однако развитие мультимодального ИИ также сталкивается со многими проблемами.
Генри Идель, основатель консалтинговой компании Hidden Space, сказал, что сила мультимодального ИИ заключается в его способности интегрировать несколько типов данных. Однако то, как эффективно интегрировать эти данные, по-прежнему остается технической проблемой.
Кроме того, мультимодальные модели ИИ часто потребляют большое количество вычислительных ресурсов во время работы, что, несомненно, увеличивает стоимость их применения.
В частности, мультимодальные данные содержат больше личной информации. Когда мультимодальные системы искусственного интеллекта могут легко распознавать лица, голоса и даже эмоциональные состояния, как обеспечить уважение и защиту личной жизни? И как можно принять эффективные меры, чтобы предотвратить их использование для создания «дипфейков» или другого вводящего в заблуждение контента? Все это вопросы, над которыми стоит задуматься.