PIFu
1.0.0
ข่าว:
พื้นที่เก็บข้อมูลนี้มีการใช้งาน pytorch ของ "Pifu: ฟังก์ชั่นโดยปริยายของพิกเซลสำหรับการแปลงเป็นดิจิทัลของมนุษย์ที่มีความละเอียดสูง"
หน้าโครงการ
หากคุณพบรหัสที่เป็นประโยชน์ในการวิจัยของคุณโปรดพิจารณาอ้างถึงบทความ
@InProceedings{saito2019pifu,
author = {Saito, Shunsuke and Huang, Zeng and Natsume, Ryota and Morishima, Shigeo and Kanazawa, Angjoo and Li, Hao},
title = {PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization},
booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
month = {October},
year = {2019}
}
codebase นี้ให้:
สำหรับการฝึกอบรมและการสร้างข้อมูล
sudo apt-get install freeglut3-dev สำหรับผู้ใช้ Ubuntu)apt install libgl1-mesa-dri libegl1-mesa libgbm1 สำหรับผู้ใช้ Ubuntu)คำเตือน: ฉันพบว่าไดรเวอร์ Nvidia ที่ล้าสมัยอาจทำให้เกิดข้อผิดพลาดกับ EGL หากคุณต้องการลองใช้เวอร์ชัน EGL โปรดอัปเดตไดรเวอร์ Nvidia ของคุณเป็นล่าสุด !!
conda ไปยัง PathGitbinbash.exeeval "$(conda shell.bash hook)" จากนั้น conda activate my_env เพราะสิ่งนี้env create -f environment.yml (ดูสิ่งนี้)conda create —name pifu python ที่ pifu เป็นชื่อของสภาพแวดล้อมของคุณconda activateconda install pytorch torchvision cudatoolkit=10.1 -c pytorchconda install pillowconda install scikit-imageconda install tqdmconda install -c menpo opencvGitmingw64binsh ./scripts/download_trained_model.shsh ./scripts/test.shคำเตือน: โมเดลที่ปล่อยออกมาได้รับการฝึกฝนด้วยการสแกนที่ยืนตรงส่วนใหญ่ด้วยการฉายภาพมุมมองที่อ่อนแอและมุมพิทช์ที่ 0 องศา คุณภาพการสร้างใหม่อาจลดลงสำหรับภาพที่เบี่ยงเบนไปจากข้อมูลการฝึกอบรม
./PIFu/checkpoints/ checkpoints/ sh ./scripts/download_trained_model.sh
.obj ที่มีพื้นผิวภายใต้ ./PIFu/eval_results/ eval_results/ คุณอาจต้องใช้ ./apps/crop_img.py เพื่อจัดเรียงภาพอินพุตและหน้ากากที่สอดคล้องกันกับข้อมูลการฝึกอบรมเพื่อประสิทธิภาพที่ดีขึ้น สำหรับการกำจัดพื้นหลังคุณสามารถใช้เครื่องมือนอกชั้นวางได้เช่น RemoveBG sh ./scripts/test.sh
หากคุณไม่มีการตั้งค่าเพื่อเรียกใช้ PIFU เราเสนอเวอร์ชัน Google Colab เพื่อลองให้คุณใช้ PIFU ในคลาวด์โดยไม่เสียค่าใช้จ่าย ลองตัวอย่าง colab ของเราโดยใช้สมุดบันทึกต่อไปนี้:
ในขณะที่เราไม่สามารถเปิดเผยข้อมูลการฝึกอบรมเต็มรูปแบบเนื่องจากข้อ จำกัด ของการสแกนเชิงพาณิชย์เราให้รหัสการแสดงผลโดยใช้แบบจำลองฟรีใน RenderPeople บทช่วยสอนนี้ใช้รุ่น rp_dennis_posed_004 โปรดดาวน์โหลดโมเดลจากลิงค์นี้และคลายซิปเนื้อหาภายใต้โฟลเดอร์ชื่อ rp_dennis_posed_004_OBJ กระบวนการเดียวกันนี้สามารถนำไปใช้กับข้อมูล RenderPeople อื่น ๆ
คำเตือน: รหัสต่อไปนี้จะช้ามากโดยไม่ต้อง pyembree โปรดตรวจสอบให้แน่ใจว่าคุณติดตั้ง Pyembree
python -m apps.prt_util -i {path_to_rp_dennis_posed_004_OBJ}
GEO , RENDER , MASK , PARAM , UV_RENDER , UV_MASK , UV_NORMAL และ UV_POS โปรดทราบว่าคุณอาจต้องแสดงรายการวิชาตรวจสอบเพื่อแยกออกจากการฝึกอบรมใน {path_to_training_data}/val.txt (บทช่วยสอนนี้มีเพียงวิชาเดียวและปล่อยให้ว่างเปล่า) หากคุณต้องการแสดงภาพด้วยเซิร์ฟเวอร์แบบไม่มีส่วนร่วมที่ติดตั้ง Nvidia GPU ให้เพิ่ม -E เพื่อเปิดใช้งานการเรนเดอร์ EGL python -m apps.render_data -i {path_to_rp_dennis_posed_004_OBJ} -o {path_to_training_data} [-e]
คำเตือน: รหัสต่อไปนี้จะช้ามากโดยไม่ต้อง pyembree โปรดตรวจสอบให้แน่ใจว่าคุณติดตั้ง Pyembree
./results และ ./checkpoints checkpoints ตามลำดับ คุณสามารถเพิ่ม --batch_size และ --num_sample_input FAGS เพื่อปรับขนาดแบทช์และจำนวนคะแนนตัวอย่างตามหน่วยความจำ GPU ที่มีอยู่ python -m apps.train_shape --dataroot {path_to_training_data} --random_flip --random_scale --random_trans
python -m apps.train_color --dataroot {path_to_training_data} --num_sample_inout 0 --num_sample_color 5000 --sigma 0.1 --random_flip --random_scale --random_trans
การจับภาพประสิทธิภาพเชิงปริมาตรแบบเรียลไทม์ (ECCV 2020)
Ruilong Li*, Yuliang Xiu*, Shunsuke Saito, Zeng Huang, Kyle Olszewski, Hao Li
PIFU แบบเรียลไทม์ครั้งแรกโดยเร่งการสร้างใหม่และการแสดงผล !!
Pifuhd: ฟังก์ชั่นโดยปริยายของพิกเซลหลายระดับสำหรับการแปลงเป็นดิจิทัลมนุษย์ 3D ความละเอียดสูง (CVPR 2020)
Shunsuke Saito, Tomas Simon, Jason Saragih, Hanbyul Joo
เราปรับปรุงคุณภาพของการสร้างใหม่โดยการใช้ประโยชน์จากวิธีการหลายระดับ!
Arch: การสร้างภาพเคลื่อนไหวของมนุษย์ที่สวมใส่ (CVPR 2020) การสร้างใหม่
Zeng Huang, Yuanlu Xu, Christoph Lassner, Hao Li, Tony Tung
การเรียนรู้ PIFU ในพื้นที่บัญญัติสำหรับการสร้างอวตารที่เคลื่อนไหวได้!
ภาพตัวเอง 3D ที่แข็งแกร่งในไม่กี่วินาที (CVPR 2020)
Zhe Li, Tao Yu, Chuanyu Pan, Zerong Zheng, Yebin Liu
พวกเขาขยาย PIFU ไปยัง RGBD + แนะนำ "pifusion" โดยใช้การสร้าง PIFU สำหรับการสร้างใหม่สำหรับฟิวชั่นที่ไม่ได้ใช้
เรียนรู้ที่จะอนุมานพื้นผิวโดยปริยายโดยไม่มีการควบคุม 3 มิติ (Neurips 2019)
Shichen Liu, Shunsuke Saito, Weikai Chen, Hao Li
เราตอบคำถามว่า "เราจะเรียนรู้ฟังก์ชั่นโดยนัยได้อย่างไรถ้าเราไม่มีความจริงภาคพื้นดิน 3 มิติ"
SICLOPE: คนสวมชุดภาพเงา (CVPR 2019, ผู้เข้ารอบสุดท้ายกระดาษที่ดีที่สุด)
Ryota Natsume*, Shunsuke Saito*, Zeng Huang, Weikai Chen, Chongyang MA, Hao Li, Shigeo Morishima
ความพยายามครั้งแรกของเราในการสร้างร่างกายมนุษย์ 3 มิติด้วยพื้นผิวจากภาพเดียว!
วิดีโอปริมาตรลึกจากการจับภาพประสิทธิภาพหลายมุมมองที่กระจัดกระจายมาก (ECCV 2018)
Zeng Huang, Tianye Li, Weikai Chen, Yajie Zhao, Jun Xing, Chloe Legendre, Linjie Luo, Chongyang Ma, Hao Li
การเรียนรู้ที่พื้นผิวสำหรับการจับภาพการจับภาพของมนุษย์ที่กระจัดกระจาย!
สำหรับการสอบถามเชิงพาณิชย์กรุณาติดต่อ:
Hao li: [email protected] Ccto: [email protected] Baker !!
