VITON HD

VITON-HD-การใช้งาน Pytorch อย่างเป็นทางการ

***** การวิจัยติดตามผลใหม่โดยทีมงานของเรามีให้ที่ https://github.com/rlawjdghek/stableviton *****

VITON-HD: การลองใช้เสมือนจริงความละเอียดสูงผ่านการทำให้เป็นมาตรฐานที่ไม่เหมาะสม
Seunghwan Choi* ¹ , Sunghyun Park* ¹ , Minsoo Lee* ¹ , Jaegul Choo ^1
1 Kaist
ใน CVPR 2021. (* หมายถึงการมีส่วนร่วมที่เท่าเทียมกัน)

กระดาษ: https://arxiv.org/abs/2103.16874
หน้าโครงการ: https://psh01087.github.io/viton-hd

บทคัดย่อ: ภารกิจของการลองใช้เสมือนจริงตามภาพมีวัตถุประสงค์เพื่อถ่ายโอนรายการเสื้อผ้าเป้าหมายไปยังภูมิภาคที่สอดคล้องกันของบุคคลซึ่งมักจะถูกจัดการโดยการปรับรายการให้กับส่วนของร่างกายที่ต้องการและหลอมรวมรายการที่บิดเบี้ยวกับบุคคล ในขณะที่มีการศึกษาจำนวนมากขึ้นความละเอียดของภาพสังเคราะห์ยังคง จำกัด อยู่ที่ต่ำ (เช่น 256x192) ซึ่งทำหน้าที่เป็นข้อ จำกัด ที่สำคัญต่อผู้บริโภคออนไลน์ที่น่าพอใจ เรายืนยันว่าข้อ จำกัด เกิดจากความท้าทายหลายประการ: เมื่อความละเอียดเพิ่มขึ้นสิ่งประดิษฐ์ในพื้นที่ที่ไม่ตรงแนวระหว่างเสื้อผ้าที่บิดเบี้ยวและพื้นที่เสื้อผ้าที่ต้องการจะเห็นได้ชัดเจนในผลลัพธ์สุดท้าย; สถาปัตยกรรมที่ใช้ในวิธีการที่มีอยู่มีประสิทธิภาพต่ำในการสร้างชิ้นส่วนของร่างกายที่มีคุณภาพสูงและรักษาความคมชัดของพื้นผิวของเสื้อผ้า เพื่อจัดการกับความท้าทายเราเสนอวิธีการลองใช้เสมือนจริงใหม่ที่เรียกว่า Viton-HD ที่ประสบความสำเร็จในการสังเคราะห์ภาพ 1024x768 เสมือนจริง โดยเฉพาะอย่างยิ่งเราเตรียมแผนที่การแบ่งส่วนเพื่อเป็นแนวทางในการสังเคราะห์การลองใช้เสมือนจริงของเราแล้วพอดีกับรายการเสื้อผ้าเป้าหมายกับร่างกายของบุคคลที่กำหนด ต่อไปเราเสนอเซ็กเมนต์การจัดตำแหน่ง (ALIAS) การปรับสภาพและเครื่องกำเนิดไฟฟ้านามแฝงเพื่อจัดการกับพื้นที่ที่ไม่ตรงแนวและรักษารายละเอียดของอินพุต 1024x768 ผ่านการเปรียบเทียบอย่างเข้มงวดกับวิธีการที่มีอยู่เราแสดงให้เห็นว่า VITON-HD สูงกว่าเส้นฐานในแง่ของคุณภาพของภาพสังเคราะห์ทั้งในเชิงคุณภาพและเชิงปริมาณ

สังเกต

ECCV 2022 Paper โดยทีมงานของเรา (การวิจัยติดตามผล): https://github.com/sangyun884/hr-viton รหัสการประมวลผลล่วงหน้าสำหรับการเป็นตัวแทนของบุคคล

การติดตั้ง

โคลนที่เก็บนี้:

 git clone https://github.com/shadow2496/VITON-HD.git
cd ./VITON-HD/

ติดตั้ง pytorch และการพึ่งพาอื่น ๆ :

 conda create -y -n [ENV] python=3.8
conda activate [ENV]
conda install -y pytorch=[>=1.6.0] torchvision cudatoolkit=[>=9.2] -c pytorch
pip install opencv-python torchgeometry

ชุดข้อมูล

เรารวบรวมชุดข้อมูล Try-On เสมือน 1024 x 768 สำหรับ วัตถุประสงค์การวิจัยของเราเท่านั้น คุณสามารถดาวน์โหลดชุดข้อมูลที่ประมวลผลล่วงหน้าได้จาก Viton-HD Dropbox ภาพผู้หญิงมุมมองด้านหน้าและคู่เสื้อผ้าด้านบนถูกแบ่งออกเป็นการฝึกอบรมและชุดทดสอบที่มี 11,647 และ 2,032 คู่ตามลำดับ

เครือข่ายที่ผ่านการฝึกอบรมมาก่อน

เราให้บริการเครือข่ายที่ผ่านการฝึกอบรมมาก่อนและตัวอย่างภาพจากชุดข้อมูลทดสอบ โปรดดาวน์โหลด *.pkl และทดสอบรูปภาพจากโฟลเดอร์ Viton-HD Google Drive และ UNZIP *.zip ไฟล์ test.py สมมติว่าไฟล์ที่ดาวน์โหลดถูกวางไว้ใน ./checkpoints/ checkpoints/ และ ./datasets/ datasets/ ไดเรกทอรี

การทดสอบ

หากต้องการสร้างภาพเสมือนจริงให้เรียกใช้:

 CUDA_VISIBLE_DEVICES=[GPU_ID] python test.py --name [NAME]

ผลลัพธ์จะถูกบันทึกไว้ในไดเรกทอรี. ./results/ คุณสามารถเปลี่ยนตำแหน่งได้โดยระบุอาร์กิวเมนต์ --save_dir หากต้องการสังเคราะห์ภาพเสมือนจริงด้วยคู่ที่แตกต่างกันของบุคคลและรายการเสื้อผ้าแก้ไข ./datasets/test_pairs.txt และเรียกใช้คำสั่งเดียวกัน

ใบอนุญาต

วัสดุทั้งหมดมีให้บริการภายใต้ Creative Commons BY-NC 4.0 คุณสามารถ ใช้แจกจ่ายและปรับ เนื้อหาเพื่อ วัตถุประสงค์ที่ไม่ใช่เชิงพาณิชย์ ตราบใดที่คุณให้เครดิตที่เหมาะสมโดย อ้างถึงบทความของเรา และ ระบุการเปลี่ยนแปลงใด ๆ ที่คุณทำ

การอ้างอิง

หากคุณพบว่างานนี้มีประโยชน์สำหรับการวิจัยของคุณโปรดอ้างอิงบทความของเรา:

 @inproceedings{choi2021viton,
  title={VITON-HD: High-Resolution Virtual Try-On via Misalignment-Aware Normalization},
  author={Choi, Seunghwan and Park, Sunghyun and Lee, Minsoo and Choo, Jaegul},
  booktitle={Proc. of the IEEE conference on computer vision and pattern recognition (CVPR)},
  year={2021}
}