Diff HMR

Diff-HMR: выздоровление сетки на основе диффузии (ICCV'23, CV4Metaverse Workshop)

Это официальная реализация подхода Pytorch, описанного в следующей статье:

Генеративный подход для вероятностного восстановления сетки человека с использованием диффузионных моделей
Ханбиель Чо и Джунмо Ким
Международная конференция IEEE/CVF по компьютерному видению (ICCV), 2023, CV4Metaverse Workshop

Абстрактный

Эта работа фокусируется на проблеме реконструкции трехмерной сетки человеческого тела из данного 2D -изображения. Несмотря на неоднозначность задачи восстановления человеческой сетки, большинство существующих работ приняли метод регрессии единого вывода. Напротив, мы предлагаем структуру генеративного подхода, называемую «на основе диффузии восстановления сетки человека (DIFF-HMR)», которая использует преимущества процесса двойной диффузии для учета множества правдоподобных результатов. На этапе обучения параметры SMPL дифференцируются от параметров земли до случайного распределения, а Diff-HMR изучает обратный процесс этой диффузии. На этапе вывода модель постепенно совершает заданные случайные параметры SMPL в соответствующие параметры, которые соответствуют входному изображению. DIFF-HMR, являющийся генеративным подходом, способен генерировать различные результаты для того же входного изображения, что и входной шум, варьируется. Мы проводим эксперименты по валидации, и результаты демонстрируют, что предложенная структура эффективно моделирует присущую неоднозначность задачи восстановления сетки человека вероятностным образом.

Зависимости

Убедитесь, что у вас установлены следующие зависимости, прежде чем продолжить:

• Python 3+ распределение
• Pytorch> = 0,4,0

Лицензия

Эта работа лицензирована в соответствии с CC BY-NC. Смотрите лицензию для деталей. Сторонние наборы данных подлежат их соответствующим лицензиям. Если вы используете наш код/модели в своем исследовании, пожалуйста, укажите нашу статью:

 @InProceedings{Cho_2023_ICCV,
    author    = {Cho, Hanbyel and Kim, Junmo},
    title     = {Generative Approach for Probabilistic Human Mesh Recovery Using Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
    month     = {October},
    year      = {2023},
    pages     = {4183-4188}
}

Подтверждение

Часть нашего кодекса заимствована из Spin и Denoising-Diffusion-Pytorch.
Пожалуйста, обратитесь к их страницам проекта для получения дополнительной информации.