Diff HMR

Diff-HMR: การกู้คืนตาข่ายของมนุษย์ที่ใช้การแพร่กระจาย (ICCV'23, CV4Metaverse Workshop)

นี่คือการใช้ Pytorch อย่างเป็นทางการของวิธีการที่อธิบายไว้ในบทความต่อไปนี้:

วิธีการกำเนิดสำหรับการกู้คืนตาข่ายของมนุษย์ที่น่าจะเป็นโดยใช้แบบจำลองการแพร่กระจาย
Hanbyel Cho และ Junmo Kim
การประชุมนานาชาติ IEEE/CVF เกี่ยวกับวิสัยทัศน์คอมพิวเตอร์ (ICCV), 2023, การประชุมเชิงปฏิบัติการ CV4Metaverse

เชิงนามธรรม

งานนี้มุ่งเน้นไปที่ปัญหาของการสร้างตาข่ายร่างกายมนุษย์ 3 มิติจากภาพ 2D ที่กำหนด แม้จะมีความคลุมเครือโดยธรรมชาติของงานของการกู้คืนตาข่ายของมนุษย์ แต่งานที่มีอยู่ส่วนใหญ่ได้ใช้วิธีการถดถอยเอาต์พุตเดียว ในทางตรงกันข้ามเราเสนอกรอบวิธีการกำเนิดที่เรียกว่า "การกู้คืนตาข่ายของมนุษย์ที่ใช้การแพร่กระจาย (DIFF-HMR)" ซึ่งใช้ประโยชน์จากกระบวนการแพร่กระจาย denoising เพื่ออธิบายผลลัพธ์ที่น่าเชื่อถือหลายอย่าง ในระหว่างขั้นตอนการฝึกอบรมพารามิเตอร์ SMPL จะถูกกระจายจากพารามิเตอร์ความจริงภาคพื้นดินไปสู่การแจกแจงแบบสุ่มและ Diff-HMR เรียนรู้กระบวนการย้อนกลับของการแพร่กระจายนี้ ในขั้นตอนการอนุมานโมเดลจะปรับแต่งพารามิเตอร์ SMPL แบบสุ่มที่กำหนดไว้อย่างต่อเนื่องลงในพารามิเตอร์ที่สอดคล้องกันซึ่งสอดคล้องกับภาพอินพุต Diff-HMR เป็นวิธีการกำเนิดมีความสามารถในการสร้างผลลัพธ์ที่หลากหลายสำหรับภาพอินพุตเดียวกับเสียงรบกวนที่แตกต่างกัน เราทำการทดลองตรวจสอบความถูกต้องและผลลัพธ์แสดงให้เห็นว่ากรอบที่เสนอนั้นเป็นแบบจำลองความคลุมเครือโดยธรรมชาติของงานของการกู้คืนตาข่ายของมนุษย์ในลักษณะที่น่าจะเป็น

การพึ่งพาอาศัยกัน

ตรวจสอบให้แน่ใจว่าคุณติดตั้งการพึ่งพาต่อไปนี้ก่อนดำเนินการ:

• การกระจาย Python 3+
• pytorch> = 0.4.0

ใบอนุญาต

งานนี้ได้รับใบอนุญาตภายใต้ CC BY-NC ดูใบอนุญาตสำหรับรายละเอียด ชุดข้อมูลของบุคคลที่สามขึ้นอยู่กับใบอนุญาตของตน หากคุณใช้รหัส/โมเดลของเราในการวิจัยของคุณโปรดอ้างอิงบทความของเรา:

 @InProceedings{Cho_2023_ICCV,
    author    = {Cho, Hanbyel and Kim, Junmo},
    title     = {Generative Approach for Probabilistic Human Mesh Recovery Using Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
    month     = {October},
    year      = {2023},
    pages     = {4183-4188}
}

การรับทราบ

ส่วนหนึ่งของรหัสของเราถูกยืมมาจากสปินและ denoising-diffusion-pytorch
โปรดดูหน้าโครงการของพวกเขาสำหรับข้อมูลเพิ่มเติม