VITON HD
1.0.0
*****私たちのチームによる新しいフォローアップ調査は、https：//github.com/rlawjdghek/stablevitonで入手できます*****
VITON-HD：ミスアライメントアウェア正規化による高解像度仮想トライオン
Seunghwan Choi* 1 、Sunghyun Park* 1 、Minsoo Lee* 1 、Jaegul Choo 1
1カイスト
CVPR 2021。（*等しい貢献を示します）
論文：https：//arxiv.org/abs/2103.16874
プロジェクトページ：https：//psh01087.github.io/viton-hd
要約：画像ベースの仮想トライオンのタスクは、ターゲットの衣料品を対応する人の領域に転送することを目的としています。これは、一般的にアイテムを目的のボディパーツに取り付け、ゆがんだアイテムを人と融合させることによって取り組まれます。ますます多くの研究が実施されていますが、合成された画像の解像度は依然として低いもの（例えば、256x192）に限定されており、これはオンライン消費者を満足させることに対する重要な制限として機能します。私たちは、制限はいくつかの課題に起因すると主張します。解像度が増加すると、ゆがんだ服と望ましい衣類領域の間の誤った領域のアーティファクトが最終結果で顕著になります。既存の方法で使用されるアーキテクチャは、高品質の身体部分を生成し、衣服のテクスチャのシャープネスを維持する際の性能が低いです。課題に対処するために、1024x768の仮想トライオン画像を正常に合成するViton-HDと呼ばれる新しい仮想トライオンメソッドを提案します。具体的には、最初にセグメンテーションマップを準備して、仮想トライオン合成をガイドし、次にターゲット衣料品を特定の人の体に大まかに適合させます。次に、アラインメントアウェアセグメント（エイリアス）正規化とエイリアスジェネレーターを提案して、誤った領域を処理し、1024x768の入力の詳細を保存します。既存の方法との厳密な比較を通じて、Viton-HDは、定性的および定量的に合成された画質の観点からベースラインを非常に上回ることを実証します。
私たちのチームによるECCV 2022ペーパー（フォローアップ調査）：https：//github.com/sangyun884/hr-viton個人属性表現の前処理コードは、https：//github.com/sangyun884/hr-vitonで入手できます。
このリポジトリをクローンします：
git clone https://github.com/shadow2496/VITON-HD.git
cd ./VITON-HD/
Pytorchおよびその他の依存関係をインストールします。
conda create -y -n [ENV] python=3.8
conda activate [ENV]
conda install -y pytorch=[>=1.6.0] torchvision cudatoolkit=[>=9.2] -c pytorch
pip install opencv-python torchgeometry
調査目的のためにのみ、 1024 x 768 Virtual Try-On Datasetを収集しました。 Viton-HD Dropboxから前処理されたデータセットをダウンロードできます。正面図の女性とトップの衣類の画像ペアは、それぞれ11,647と2,032ペアのテストセットに分割されます。
テストデータセットから事前に訓練されたネットワークとサンプル画像を提供します。 VITON-HD GoogleドライブフォルダーとUNZIP *.zipファイルから*.pklとテスト画像をダウンロードしてください。 test.py 、ダウンロードされたファイルが./checkpoints/および./datasets/ Directoriesに配置されていることを前提としています。
仮想トライオン画像を生成するには、実行してください。
CUDA_VISIBLE_DEVICES=[GPU_ID] python test.py --name [NAME]
結果は./results/ディレクトリに保存されます。 --save_dir引数を指定して、場所を変更できます。人と衣料品のさまざまなペアを持つ仮想トライオン画像を合成するには、 ./datasets/test_pairs.txt test_pairs.txtを編集して、同じコマンドを実行します。
すべての素材は、NC 4.0のCreative Commonsで利用可能になります。私たちの論文を引用して適切なクレジットを提供し、あなたが行った変更を示すことによって適切なクレジットを与える限り、非営利目的で素材を使用、再配布、および適応させることができます。
この作品があなたの研究に役立つと思うなら、私たちの論文を引用してください：
@inproceedings{choi2021viton,
title={VITON-HD: High-Resolution Virtual Try-On via Misalignment-Aware Normalization},
author={Choi, Seunghwan and Park, Sunghyun and Lee, Minsoo and Choo, Jaegul},
booktitle={Proc. of the IEEE conference on computer vision and pattern recognition (CVPR)},
year={2021}
}
