PIFu
1.0.0
Новости:
Этот репозиторий содержит реализацию Pytorch «неявной функции выравниваемой Pifu: Pixel для окрашенной человеческой оцифровки с высоким разрешением».
Project Page
Если вы найдете код полезным в своем исследовании, рассмотрите возможность ссылаться на статью.
@InProceedings{saito2019pifu,
author = {Saito, Shunsuke and Huang, Zeng and Natsume, Ryota and Morishima, Shigeo and Kanazawa, Angjoo and Li, Hao},
title = {PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization},
booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
month = {October},
year = {2019}
}
Эта кодовая база предоставляет:
Для обучения и генерации данных
sudo apt-get install freeglut3-dev для пользователей Ubuntu)apt install libgl1-mesa-dri libegl1-mesa libgbm1 для пользователей Ubuntu)Предупреждение: я обнаружил, что устаревшие драйверы NVIDIA могут вызывать ошибки с EGL. Если вы хотите попробовать версию EGL, пожалуйста, обновите свой драйвер NVIDIA до последнего !!
conda на путьGitbinbash.exeeval "$(conda shell.bash hook)" Тогда conda activate my_env из -за этогоenv create -f environment.yml (посмотрите это)conda create —name pifu python , где pifu - это название вашей средыconda activateconda install pytorch torchvision cudatoolkit=10.1 -c pytorchconda install pillowconda install scikit-imageconda install tqdmconda install -c menpo opencvGitmingw64binsh ./scripts/download_trained_model.shsh ./scripts/test.shПРЕДУПРЕЖДЕНИЕ: Выпущенная модель обучена в основном вертикальным сканированием с слабым проекцией перспективы и углом высоты 0 градусов. Качество реконструкции может ухудшиться для изображений, которые сильно отклоняются от обучения данных.
./PIFu/checkpoints/ . sh ./scripts/download_trained_model.sh
.obj под ./PIFu/eval_results/ . Возможно, вам придется использовать ./apps/crop_img.py , чтобы примерно выровнять входное изображение и соответствующую маску с учебными данными для лучшей производительности. Для удаления фона вы можете использовать любые готовые инструменты, такие как RemoveBG. sh ./scripts/test.sh
Если у вас нет настройки для запуска Pifu, мы предлагаем версию Google Colab, чтобы попробовать, позволяя вам запустить Pifu в облаке, бесплатно. Попробуйте нашу демонстрацию Colab, используя следующую записную книжку:
Несмотря на то, что мы не можем выпустить полные учебные данные из -за ограничения коммерциального сканирования, мы предоставляем код рендеринга с использованием бесплатных моделей у рендеринцев. В этом уроке используется модель rp_dennis_posed_004 . Пожалуйста, загрузите модель по этой ссылке и разкачивайте контент под папкой с именем rp_dennis_posed_004_OBJ . Тот же процесс может быть применен к другим данным рендеринов.
ПРЕДУПРЕЖДЕНИЕ: Следующий код становится чрезвычайно медленным без Pyembree. Пожалуйста, убедитесь, что вы установили Pyembree.
python -m apps.prt_util -i {path_to_rp_dennis_posed_004_OBJ}
GEO , RENDER , MASK , PARAM , UV_RENDER , UV_MASK , UV_NORMAL и UV_POS . Обратите внимание, что вам может потребоваться перечислить субъекты проверки, чтобы исключить из обучения в {path_to_training_data}/val.txt (у этого учебника есть только один предмет и оставьте его пустым). Если вы хотите отображать изображения с помощью серверов без головы, оснащенных графическим процессором NVIDIA, добавьте -e, чтобы включить рендеринг EGL. python -m apps.render_data -i {path_to_rp_dennis_posed_004_OBJ} -o {path_to_training_data} [-e]
ПРЕДУПРЕЖДЕНИЕ: Следующий код становится чрезвычайно медленным без Pyembree. Пожалуйста, убедитесь, что вы установили Pyembree.
./results и ./checkpoints соответственно. Вы можете добавить --batch_size и --num_sample_input Flags, чтобы настроить размер партии и количество точек отображения на основе доступной памяти GPU. python -m apps.train_shape --dataroot {path_to_training_data} --random_flip --random_scale --random_trans
python -m apps.train_color --dataroot {path_to_training_data} --num_sample_inout 0 --num_sample_color 5000 --sigma 0.1 --random_flip --random_scale --random_trans
Монокулярный объемный захват производительности в реальном времени (ECCV 2020)
Ruilong Li*, Yuliang Xiu*, Shunsuke Saito, Zeng Huang, Kyle Olszewski, Hao Li
Первый Pifu в реальном времени путем ускорения реконструкции и рендеринга !!
Pifuhd: неявная функция с выравниванием в пикселях для пикселей для 3D-оцифровки человека с высоким разрешением (CVPR 2020)
Shunsuke Saito, Tomas Simon, Jason Saragih, Hanbyul Joo
Мы дополнительно улучшаем качество реконструкции, используя многоуровневый подход!
Арка: оживляемая реконструкция одетых людей (CVPR 2020)
Цзэн Хуанг, Юанлу Сюй, Кристоф Ласснер, Хао Ли, Тони Тунг
Изучение пифу в каноническом пространстве для анимируемого поколения аватара!
Надежные 3D автопортреты за считанные секунды (CVPR 2020)
Чжэ Ли, Тао Ю, Чуаню Пан, Зеронг Чжэн, Ебин Лю
Они распространяют PIFU до RGBD + вводятся «пифузию», используя реконструкцию PIFU для нежного слияния.
Обучение вывода неявных поверхностей без 3D -контроля (Neurips 2019)
Шичен Лю, Шунсуке Сайто, Вейкай Чен, Хао Ли
Мы отвечаем на вопрос «Как мы можем изучить неявную функцию, если у нас нет трехмерной основы правды?»
Siclope: одетые люди на основе силуэт (CVPR 2019, лучший бумажный финалист)
Ryota Natsume*, Shunsuke Saito*, Zeng Huang, Weikai Chen, Chongyang MA, Hao Li, Shigeo Morishima
Наша первая попытка реконструировать 3D -одетое человеческое тело с текстурой из одного изображения!
Глубокое объемное видео от очень разреженного захвата производительности с несколькими просмотрами (ECCV 2018)
Зенг Хуанг, Тяне Ли, Вейкай Чен, Яджи Чжао, Джун Синг, Хлоя Легендре, Линджи Луо, Чонгьян М.А., Хао Ли
Подразумевает обучение поверхности для раздвоенного представления о захвате производительности человека!
Для коммерческих запросов, пожалуйста, свяжитесь:
Hao Li: [email protected] CCTO: [email protected] Baker !!
