VITON HD

Viton-HD-تطبيق Pytorch الرسمي

***** تتوفر أبحاث متابعة جديدة من قبل فريقنا على https://github.com/rlawjdghek/stableviton *****

Viton-HD: تجربة افتراضية عالية الدقة عن طريق تطبيع اختلال
Seunghwan Choi* ¹ ، Sunghyun Park* ¹ ، Minsoo Lee* ¹ ، Jaegul Choo ^1
1 kaist
في CVPR 2021. (* يشير إلى مساهمة متساوية)

ورقة: https://arxiv.org/abs/2103.16874
صفحة المشروع: https://psh01087.github.io/viton-hd

الخلاصة: تهدف مهمة المحاولة الافتراضية المستندة إلى الصور إلى نقل عنصر ملابس مستهدف إلى المنطقة المقابلة للشخص ، والتي يتم معالجتها عادة عن طريق تركيب العنصر على الجزء المطلوب من الجسم ودمج العنصر المشوه مع الشخص. في حين تم إجراء عدد متزايد من الدراسات ، لا يزال حل الصور المصنفة يقتصر على منخفض (على سبيل المثال ، 256x192) ، والذي يعمل كقيد حاسم ضد المستهلكين عبر الإنترنت. نؤكد أن القيد ينبع من العديد من التحديات: مع زيادة القرار ، تصبح القطع الأثرية في المناطق غير المحسنة بين الملابس المشوهة ومناطق الملابس المطلوبة ملحوظة في النتائج النهائية ؛ البنى المستخدمة في الطرق الحالية لها أداء منخفض في توليد أجزاء الجسم عالية الجودة والحفاظ على حدة الملمس للملابس. لمواجهة التحديات ، نقترح طريقة تجريب افتراضية جديدة تسمى Viton-HD والتي تجمع بنجاح صور 1024x768 الافتراضية. على وجه التحديد ، نقوم أولاً بإعداد خريطة التجزئة لتوجيه تخليق المحاولة الافتراضية الخاصة بنا ، ثم تناسب عنصر الملابس المستهدف تقريبًا لجسم شخص معين. بعد ذلك ، نقترح مقطع التطبيع (الاسم المستعار) على دراية بالمحاذاة (الاستعداد) ومولد الاسم المستعار للتعامل مع المناطق غير المحسّنة والحفاظ على تفاصيل المدخلات 1024 × 768. من خلال المقارنة الصارمة مع الطرق الحالية ، نوضح أن Viton-HD يتفوق بشكل كبير على خطوط الأساس من حيث جودة الصورة المصنفة من الناحية النوعية والكمية.

يلاحظ

ورقة ECCV 2022 من قبل فريقنا (أبحاث المتابعة): https://github.com/sangyun884/hr-viton تتوفر معالجة preprocessing person-agnostic على https://github.com/sangyun884/hr-viton.

تثبيت

استنساخ هذا المستودع:

 git clone https://github.com/shadow2496/VITON-HD.git
cd ./VITON-HD/

تثبيت Pytorch والتبعيات الأخرى:

 conda create -y -n [ENV] python=3.8
conda activate [ENV]
conda install -y pytorch=[>=1.6.0] torchvision cudatoolkit=[>=9.2] -c pytorch
pip install opencv-python torchgeometry

مجموعة البيانات

لقد جمعنا 1024 × 768 مجموعة بيانات تجريب افتراضية لغرض البحث لدينا فقط . يمكنك تنزيل مجموعة بيانات معالجة مسبقًا من Viton-HD Dropbox. يتم تقسيم زوجة View View and Top Clothing Image إلى تدريب ومجموعة اختبار تضم 11،647 و 2،032 زوجًا على التوالي.

شبكات مدربة مسبقا

نحن نقدم الشبكات التي تم تدريبها مسبقًا وصورًا من مجموعة بيانات الاختبار. يرجى تنزيل *.pkl واختبار الصور من مجلد Viton-HD Google Drive وملفات Unzip *.zip . يفترض test.py أنه يتم وضع الملفات التي تم تنزيلها في ./checkpoints/ و ./datasets/ الدلائل.

الاختبار

لإنشاء صور تجرب افتراضية ، قم بتشغيل:

 CUDA_VISIBLE_DEVICES=[GPU_ID] python test.py --name [NAME]

يتم حفظ النتائج في دليل ./results/ . يمكنك تغيير الموقع من خلال تحديد وسيطة --save_dir . لتوليف صور تجرب افتراضية مع أزواج مختلفة من شخص وعنصر ملابس ، تحرير ./datasets/test_pairs.txt وتشغيل نفس الأمر.

رخصة

يتم توفير جميع المواد تحت Creative Commons By-NC 4.0. يمكنك استخدام المواد وإعادة توزيعها وتكييفها للأغراض غير التجارية ، طالما أنك تعطي رصيدًا مناسبًا من خلال الإشارة إلى ورقتنا والإشارة إلى أي تغييرات قمت بها.

اقتباس

إذا وجدت هذا العمل مفيدًا لبحثك ، فيرجى الاستشهاد بورقة:

 @inproceedings{choi2021viton,
  title={VITON-HD: High-Resolution Virtual Try-On via Misalignment-Aware Normalization},
  author={Choi, Seunghwan and Park, Sunghyun and Lee, Minsoo and Choo, Jaegul},
  booktitle={Proc. of the IEEE conference on computer vision and pattern recognition (CVPR)},
  year={2021}
}