Недавно Microsoft официально открыла на своем официальном веб -сайте мультимодальную базовую модель AI Ag Agent под названием «Magma». Этот новый искусственный интеллект способен охватывать цифровые и физические миры и может обрабатывать несколько типов данных, таких как изображения, видео, тексты и т. Д. В то же время. По сравнению с традиционными помощниками искусственного интеллекта, магма уникальна в своей функции психологического прогнозирования, что позволяет ему более точно понять намерения и будущее поведение персонажей или объектов в видео.
Магма имеет широкий спектр сценариев приложений, и пользователи могут использовать этот ИИ для автоматического размещения заказов и проверки погоды и других ежедневных операций. Кроме того, он может автоматически контролировать физических роботов и оказывать помощь пользователям в режиме реального времени во время таких действий, как шахматы. Эта мультимодальная способность позволяет магме хорошо работать в разных средах и иметь возможность адаптироваться к различным сложным задачам.
Согласно официальным отчетам, магма особенно подходит для помощников или роботов с двигателем AI, помогая им лучше понять свое окружение и предпринять соответствующие действия. Например, он может направлять домашних роботов, чтобы узнать, как организовать предметы, которые вы никогда не видели раньше, или помочь виртуальным помощникам генерировать пошаговые руководства для пользователей. Эта функция значительно улучшает способность робота в обучение и практичность.
Магма -модель является одной из серий VLA (визуальное действие). Изучая огромные объемы публичных визуальных и лингвистических данных, он может интегрировать языковые, пространственные и временные интеллекты, тем самым эффективно реагируя на сложные задачи и проблемы в реальной жизни. С разработкой технологий искусственного интеллекта, запуск магмы отмечает еще один большой шаг вперед для умных помощников и робототехники.
Ссылка на проект: https://microsoft.github.io/magma/
Ключевые моменты:
Поперечная способность: магма может обрабатывать различные типы данных, такие как изображения, видео и текст, улучшая функции умного помощника.
Интеллектуальное приложение: пользователи могут автоматически размещать заказы, проверять погоду и контролировать физических роботов через магму.
Обучение адаптивности: магма помогает роботам изучать новые задачи и генерирует оперативные руководства для виртуальных помощников, повышая его полезность.