Diff HMR

DIFF-HMR : 확산 기반 인간 메쉬 회수 (ICCV'23, CV4Metaverse 워크숍)

이것은 다음 논문에 설명 된 접근법의 공식적인 Pytorch 구현입니다.

확산 모델을 이용한 확률 적 인간 메쉬 회수를위한 생성 접근법
Hanbyel Cho와 Junmo Kim
IEEE/CVF 컴퓨터 비전에 관한 국제 회의 (ICCV), 2023, CV4Metaverse 워크숍

추상적인

이 작업은 주어진 2D 이미지에서 3D 인체 메쉬를 재구성하는 문제에 중점을 둡니다. 인간 메쉬 회복 과제의 고유 한 모호함에도 불구하고, 대부분의 기존 작품은 단일 출력을 회귀하는 방법을 채택했습니다. 대조적으로, 우리는 다수의 그럴듯한 결과를 설명하기 위해 거부 확산 프로세스를 이용하는 "확산 기반 인간 메쉬 회수 (DIFF-HMR)"라는 생성 접근 프레임 워크를 제안합니다. 훈련 단계 동안, SMPL 파라미터는지면 진실 파라미터에서 랜덤 분포로 확산되고, Diff-HMR 은이 확산의 역 프로세스를 학습한다. 추론 단계에서, 모델은 주어진 랜덤 SMPL 파라미터를 입력 이미지와 정렬되는 해당 매개 변수로 점진적으로 개선합니다. 생성 접근법 인 DIFF-HMR은 입력 노이즈가 변하는 것과 동일한 입력 이미지에 대해 다양한 결과를 생성 할 수 있습니다. 우리는 검증 실험을 수행하고, 결과는 제안 된 프레임 워크가 인간 메쉬 회복 과제의 내재 된 모호성을 확률 적 방식으로 효과적으로 모델링한다는 것을 보여줍니다.

의존성

진행하기 전에 다음의 종속성이 설치되어 있는지 확인하십시오.

• 파이썬 3+ 분포
• Pytorch> = 0.4.0

특허

이 작업은 CC By-NC에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스를 참조하십시오. 타사 데이터 세트에는 해당 라이센스가 적용됩니다. 연구에서 당사 코드/모델을 사용하는 경우 논문을 인용하십시오.

 @InProceedings{Cho_2023_ICCV,
    author    = {Cho, Hanbyel and Kim, Junmo},
    title     = {Generative Approach for Probabilistic Human Mesh Recovery Using Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
    month     = {October},
    year      = {2023},
    pages     = {4183-4188}
}

승인

우리 코드의 일부는 Spin and Denoising-Diverfusion-Pytorch에서 차용됩니다.
자세한 내용은 프로젝트 페이지를 참조하십시오.