Diff HMR
1.0.0
これは、次の論文で説明されているアプローチの公式のPytorch実装です。
拡散モデルを使用した確率的ヒトメッシュ回復のための生成アプローチ
ハンビール・チョとジュンモ・キム
IEEE/CVFコンピュータービジョンに関する国際会議（ICCV）、2023、CV4Metaverseワークショップ
この作業は、特定の2D画像から3D人体メッシュを再構築する問題に焦点を当てています。人間のメッシュ回復のタスクに固有のあいまいさにもかかわらず、ほとんどの既存の作品は単一の出力を回帰する方法を採用しています。対照的に、複数のもっともらしい結果を説明するために除去拡散プロセスを利用する「拡散ベースのヒトメッシュ回復（diff-hmr）」と呼ばれる生成アプローチフレームワークを提案します。トレーニング段階では、SMPLパラメーターはグラウンドトゥルースパラメーターからランダム分布に拡散され、DIFF-HMRはこの拡散の逆プロセスを学習します。推論フェーズでは、モデルは、指定されたランダムSMPLパラメーターを、入力画像に合わせて対応するパラメーターに徐々に改良します。生成的アプローチであるDIFF-HMRは、入力ノイズが変化するのと同じ入力画像に対して多様な結果を生成することができます。検証実験を実施し、結果は、提案されたフレームワークが人間のメッシュ回復のタスクの固有の曖昧さを確率的に効果的にモデル化することを示しています。
先に進む前に、次の依存関係がインストールされていることを確認してください。
この作業は、CC BY-NCの下でライセンスされています。詳細については、ライセンスを参照してください。サードパーティのデータセットには、それぞれのライセンスの対象となります。調査でコード/モデルを使用する場合は、私たちの論文を引用してください。
@InProceedings{Cho_2023_ICCV,
author = {Cho, Hanbyel and Kim, Junmo},
title = {Generative Approach for Probabilistic Human Mesh Recovery Using Diffusion Models},
booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
month = {October},
year = {2023},
pages = {4183-4188}
}
私たちのコードの一部は、SpinとDemising-Diffusion-Pytorchから借用されています。
詳細については、プロジェクトページを参照してください。
