Nvidia объявляет, что ее исследовательская группа разработала новую нейронную сеть под названием Hover (Humanoid Multifuntunt Controller), небольшую, но эффективную нейронную сеть с только 1,5 миллионами параметров, посвященных управлению движением и работой гуманоидных роботов. Что уникально в Hover, так это его способность захватывать подсознательные процессы в движении человека, позволяя роботам выполнять сложные задачи без громоздкого программирования, что является значительным прорывом в области контроля роботов. Его эффективный процесс обучения также впечатляет.
Исследовательская группа объявила о захватывающем прогрессе в разработке новой нейронной сети под названием Hover (Humanoid Multifunction Controller). Эта нейронная сеть имеет 1,5 миллиона параметров и специально предназначена для координации движения и работы гуманоидных роботов.
«Не все основные модели должны быть огромными. Нейронная сеть 1,5 м, которую мы обучали, предназначена для контроля тела гуманоида -робота». Робот выполняет сложные задачи без громоздкого программирования. Он упомянул, что «людям нужно много подсознательной обработки при ходьбе, поддержании баланса и гибкой манипулировании их конечностей».
Во время учебного процесса Hover использовала платформу Nvidia ISAAC, которая может ускорить физическое моделирование со скоростью в 10 000 раз, чем в реальном времени.
Джим Фан рассказал, что модель была обучена в виртуальной среде в течение года и фактически занимал всего около 50 минут в реальном времени, что делается на одном графическом процессоре. Он сказал, что это эффективное обучение позволяет плавно передавать нейронные сети в реальные приложения без точной настройки.
Hover обладает способностью реагировать на различные инструкции по движению высокого уровня, включая контроль над головкой и ручной осанкой, используя XR-устройства, такие как Apple Vision Pro, или получение позов всего тела через захват движения и камеры RGB, и даже суставы от экзоскелетов .. Фан подчеркнул, что Hover предоставляет унифицированный интерфейс для роботов, которые управляют различными устройствами ввода, что облегчает сбор удаленных оперативных данных для обучения.
Кроме того, HOVER интегрируется с моделями Vision-Language-Action, что позволяет преобразовать инструкции по движению в низкоуровневые моторные сигналы на высокой частоте. Эта модель совместима с любым гуманоидным роботом, который можно моделировать в Исааке, что позволяет пользователям легко давать срок службы робота.
В начале этого года Nvidia также объявила о проекте под названием GR00T, модели общего назначения, предназначенной для гуманоидных роботов. Роботы GR00T (генеральный робот robot00technology) могут понимать естественный язык и имитировать человеческие движения, наблюдая за действиями, позволяя им быстро изучать координацию, гибкость и другие навыки, необходимые для эффективного взаимодействия в реальном мире.
Бумажный URL: https://arxiv.org/pdf/2410.21229
Ключевые моменты:
- Nvidia запускает Hover, нейронную сеть параметров 1,5 миллиона, предназначенная для контроля движения и работы гуманоидных роботов.
- ⏳ Hover обучался в виртуальной среде в течение одного года, и фактическое время обучения составило всего 50 минут, что повысило эффективность реальных приложений.
- Hover поддерживает различные инструкции по движению высокого уровня, может работать в сотрудничестве с различными устройствами ввода и обеспечивает унифицированный интерфейс для управления роботом.
Появление наказания знаменует собой серьезный скачок в технологии управления гуманоидными роботами. Мы с нетерпением ждем этой технологии в будущем более захватывающих приложений и инноваций.