最近、Alibaba Tongyi Laboratoryは、3D人体再建の分野で大きなブレークスルーを行い、LHM（大規模なアニメーション人体再構成モデル）と呼ばれる革新的な技術を立ち上げました。このテクノロジーは、この分野に新しい開発の方向性をもたらすだけでなく、アプリケーションの見通しを大幅に拡大します。
単一の画像からのアニメーション化された3Dボディの再構築は、主に幾何学、外観、変形の分離の曖昧さのために、常に挑戦的な作業でした。現在の最新の研究進捗のほとんどは静的な人間のモデリングに焦点を当てており、これらの方法はしばしばトレーニングのために合成3Dスキャンに依存しており、実際のシナリオで一般化する能力をほとんど制限しています。同時に、最適化ベースのビデオ方法では、キャプチャ条件を厳密に制御する必要があるだけでなく、非常に集中的なコンピューティングプロセスも備えているため、実用的なアプリケーションのニーズを満たすことが困難です。
これらの困難に対応して、LHMモデルが生まれました。このモデルは、マルチモーダルトランスアーキテクチャを革新的に採用しており、強力な注意メカニズムを通じて、人間の位置機能と画像機能を効果的にエンコードできます。このアーキテクチャにより、LHMは人体の幾何学を正確に再構築するだけでなく、衣服の幾何学的形状とテクスチャを詳細に保存することができ、ユーザーにより現実的で繊細な3Dマネキンを提示します。
LHMがヘッド機能のピラミッドコーディングスキームも提案したことに言及する価値があります。このソリューションは、ヘッドエリアのマルチスケール特性を集約することにより、人間の頭の詳細をキャプチャするモデルの能力をさらに改善し、生成された3D人体モデルを頭のパフォーマンスでより現実的にします。実際のアプリケーションでは、LHMは驚くべき効率を示し、わずか数秒で人体の合理的なアニメーションを生み出すことができ、複雑な後処理は必要ありません。時間と人件費を大幅に節約します。
多くの実験的検証の後、LHMは再構築の精度と一般化能力の観点から既存の方法よりも優れています。複雑なシナリオであろうと異なる照明条件下であろうと、LHMは高品質の3D人体再建結果を安定に出力できます。
住所：https：//lingtengqiu.github.io/lhm/