최근 Alibaba Tongyi Laboratory는 3D 인체 재건 분야에서 큰 획기적인 획기적인 획기적인 획기적인 획기적인 발전을 이루었으며 LHM (대형 애니메이션 인체 재건 모델)이라는 혁신적인 기술을 시작했습니다. 이 기술은이 분야에 새로운 개발 방향을 제시 할뿐만 아니라 응용 프로그램 전망을 크게 확장합니다.
단일 이미지의 애니메이션 3D 바디 재구성은 주로 지오메트리, 모양 및 변형 분리의 모호성으로 인해 항상 어려운 작업이었습니다. 현재의 최신 연구 진행 상황의 대부분은 정적 인간 모델링에 중점을두고 있으며, 이러한 방법은 종종 훈련을위한 합성 3D 스캔에 의존하여 실제 시나리오에서 일반화하는 능력을 크게 제한합니다. 동시에, 최적화 기반 비디오 방법은 캡처 조건을 엄격하게 제어 할뿐만 아니라 매우 집중적 인 컴퓨팅 프로세스를 가지고있어 실제 애플리케이션의 요구를 충족시키기가 어렵습니다.
이러한 어려움에 대응하여 LHM 모델이 시작되었습니다. 이 모델은 혁신적으로 멀티 모달 변압기 아키텍처를 채택하며 강력한주의 메커니즘을 통해 인간 위치 기능 및 이미지 기능을 효과적으로 인코딩 할 수 있습니다. 이 아키텍처를 통해 LHM은 인체의 형상을 정확하게 재구성 할뿐만 아니라 의류의 기하학적 모양과 질감을 자세히 보존하여 사용자에게보다 현실적이고 섬세한 3D 마네킹을 제공합니다.
LHM은 헤드 기능 피라미드 코딩 체계를 제안했다는 점은 언급 할 가치가 있습니다. 이 솔루션은 헤드 영역의 다중 규모 특성을 집계함으로써 인간 헤드의 세부 사항을 캡처하는 모델의 능력을 더욱 향상시켜 생성 된 3D 인체 모델이 헤드 성능에서보다 현실적입니다. 실제 응용 분야에서 LHM은 놀라운 효율성을 보여 주며 단 몇 초만에 인체의 합리적인 애니메이션을 생성 할 수 있으며 복잡한 사후 처리가 필요하지 않으므로 시간과 인건비가 크게 절약됩니다.
많은 실험 검증 후 LHM은 재구성 정확도 및 일반화 능력 측면에서 기존 방법보다 낫습니다. 복잡한 시나리오에서 또는 다른 조명 조건 하에서 LHM은 고품질 3D 인체 재구성 결과를 안정적으로 출력 할 수 있습니다.
주소 : https://lingtengqiu.github.io/lhm/