ROMP

Сумасшедший	БЕВС	СЛЕД
Монокулярный, одноступенчатая регрессия нескольких трехмерных людей (ICCV21)	Поставить людей на их место: монокулярная регрессия 3D -людей в глубину (CVPR2022)	След: 5D -временная регрессия аватаров с динамическими камерами в 3D средах (CVPR2023)
Romp-это одноэтапный метод для монокулярного многопользовательского восстановления сетки 3D в режиме реального времени .	BEV далее исследует взаимосвязь с глубиной нескольких человек и поддерживает все возрастные группы .	Trace далее отслеживает конкретные субъекты и восстанавливает их глобальную трехмерную траекторию с помощью динамических камер .
[Paper] [Видео]	[Страница проекта] [Paper] [Видео]	[Страница проекта] [Paper] [Видео]
	[Относительный набор данных]]	[Набор данных Dynacam]

Мы предоставляем кроссплатформенное API (установлено через PIP) для запуска Romp & BEV на Linux / Windows / Mac.

Оглавление

• Оглавление
• Новости
• Начиная
  • Установка
  • Попробуйте Google Colab
• Как его использовать
  • Пожалуйста, обратитесь к этому руководству для вывода и экспорта (FBX/GLB/BVH).
  • Тренироваться
  • Оценка
  • Использование Docker
  • Отчет об ошибках
• Цитирование
• Подтверждение

Новости

2023/06/17: выпуск кода Трейса. Пожалуйста, обратитесь к этой инструкции для вывода.
2022/06/21: Код обучения и оценки BEV выпускается. Пожалуйста, обновите Model_Data.
2022/05/16: Simple-Romp V1.0 выпускается для поддержки отслеживания, вызова Python, экспорта BVH и т. Д.
2022/04/14: код вывода BEV был выпущен в Simple-Romp V0.1.0.
2022/04/10: добавление поддержки ONNX, с более высокой скоростью вывода на процессоре/графическом процессоре.
Старые журналы

Начиная

Пожалуйста, используйте Simple-Romp для вывода, код отдыха предназначен только для обучения.

Как его использовать

Romp & Bev

Для вывода и экспорта (FBX/GLB/BVH), пожалуйста, обратитесь к этому руководству.

Для обучения, пожалуйста, обратитесь к Installation.md для полной установки, DateSet.md для подготовки данных, Train.md для обучения.

Для оценки на критериях, пожалуйста, обратитесь к Romp_evaluation, BEV_EVALUATION.

СЛЕД

Для вывода, пожалуйста, обратитесь к этому инструкту.

Для оценки на критериях, пожалуйста, обратитесь к Trace_Evaluation.

Для обучения, пожалуйста, обратитесь к TRACE_TRAIN.

Расширения

[Blender Addon]: Ян Чуанханг создал блендер-Аддон для управления 3D-символом в блендере, используя Domp From Image, видео или веб-камеру.

[VMC Protocol]: Vivien Richter внедрил поддержку протокола VMC (виртуальное захват движения) для различных решений захвата движения с Romp.

Использование Docker

Пожалуйста, обратитесь к Docker.md

Отчет об ошибках

Добро пожаловать, чтобы отправить проблемы для ошибок.

Участники

Этот репозиторий поддерживается Yu Sun.

Romp также выиграл от многих разработчиков, в том числе

• Пенг Ченг: Конструктивная дискуссия по обучению карты центра.
• Марко Муси: Помогите в текстурированной визуализации SMPL.
• Гэвин Грей: добавление поддержки элегантного контекстного менеджера для запуска кода в ноутбуке.
• VLT Media и Vivien Richter: добавление поддержки для работы в Windows & Batch_videos.py.
• Чуанханг Ян: Разработка аддона для вождения персонажа в Блендере.
• Тянь Джин: Помощь в упрощенном SMPL и быстрое рендеринг (RealRender).
• Zhengdiyu: полезное обсуждение оптимизации деталей реализации.
• Ali Yaghoubian: добавить файл Docker для простого снятия.

Цитирование

 @InProceedings { TRACE ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J. } ,
    title = { {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments} } , 
    booktitle = { CVPR } , 
    year = { 2023 } }
@InProceedings { BEV ,
    author = { Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J } ,
    title = { {Putting People in their Place: Monocular Regression of 3D People in Depth} } ,
    booktitle = { CVPR } ,
    year = { 2022 } }
@InProceedings { ROMP ,
    author = { Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao } ,
    title = { {Monocular, One-stage, Regression of Multiple 3D People} } ,
    booktitle = { ICCV } ,
    year = { 2021 } }

Подтверждение

Эта работа была поддержана Национальной программой исследований и разработок Китая в рамках Grand № 2020AAA0103800.
MJB Раскрытие : https://files.is.tue.mpg.de/black/coi_cvpr_2023.txt