PIFu
1.0.0
أخبار:
يحتوي هذا المستودع على تنفيذ Pytorch لـ "PIFU: Pixel المليء بالبيكسل للرقمنة البشرية عالية الدقة".
صفحة المشروع
إذا وجدت الرمز مفيدًا في بحثك ، فيرجى التفكير في الاستشهاد بالورقة.
@InProceedings{saito2019pifu,
author = {Saito, Shunsuke and Huang, Zeng and Natsume, Ryota and Morishima, Shigeo and Kanazawa, Angjoo and Li, Hao},
title = {PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization},
booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
month = {October},
year = {2019}
}
توفر قاعدة الشفرة هذه:
للتدريب وتوليد البيانات
sudo apt-get install freeglut3-dev لمستخدمي Ubuntu)apt install libgl1-mesa-dri libegl1-mesa libgbm1 لمستخدمي Ubuntu)تحذير: لقد وجدت أن برامج تشغيل NVIDIA التي عفا عليها الزمن قد تسبب أخطاء مع EGL. إذا كنت ترغب في تجربة إصدار EGL ، فيرجى تحديث برنامج تشغيل NVIDIA الخاص بك إلى الأحدث !!
conda إلى المسارGitbinbash.exeeval "$(conda shell.bash hook)" ثم conda activate my_env بسبب هذاenv create -f environment.yml (انظر هذا)conda create —name pifu python حيث pifu هو اسم بيئتكconda activateconda install pytorch torchvision cudatoolkit=10.1 -c pytorchconda install pillowconda install scikit-imageconda install tqdmconda install -c menpo opencvGitmingw64binsh ./scripts/download_trained_model.shsh ./scripts/test.shتحذير: يتم تدريب النموذج المنطلق مع فحوصات مستقيمة في الغالب مع عرض ضعيف للمنظور وزاوية الملعب من 0 درجة. قد تتحلل جودة إعادة الإعمار للصور المنحرفة بشكل كبير من بيانات التدريب.
./PIFu/checkpoints/ . sh ./scripts/download_trained_model.sh
.obj محكم تحت ./PIFu/eval_results/ . قد تحتاج إلى استخدام ./apps/crop_img.py لإزالة الخلفية ، يمكنك استخدام أي أدوات خارج الجرف مثل RemoveBG. sh ./scripts/test.sh
إذا لم يكن لديك إعداد لتشغيل PIFU ، فنحن نقدم إصدار Google Colab لتجربته ، مما يتيح لك تشغيل PIFU في السحابة ، مجانًا. جرب عرضنا التجريبي كولاب باستخدام دفتر الملاحظات التالي:
على الرغم من أننا غير قادرين على إصدار بيانات التدريب الكاملة نظرًا لتقييد عمليات المسح الناجح ، فإننا نقدم رمزًا عرضًا باستخدام نماذج مجانية في RenderPeople. يستخدم هذا البرنامج التعليمي نموذج rp_dennis_posed_004 . يرجى تنزيل النموذج من هذا الرابط وفك ضغط المحتوى تحت مجلد يسمى rp_dennis_posed_004_OBJ . يمكن تطبيق نفس العملية على بيانات RenderPeople الأخرى.
تحذير: يصبح الرمز التالي بطيئًا للغاية بدون Pyembree. يرجى التأكد من تثبيت Pyembree.
python -m apps.prt_util -i {path_to_rp_dennis_posed_004_OBJ}
GEO و RENDER و MASK و PARAM و UV_RENDER و UV_MASK و UV_NORMAL و UV_POS . لاحظ أنك قد تحتاج إلى إدراج موضوعات التحقق من الصحة لاستبعادها من التدريب في {path_to_training_data}/val.txt (هذا البرنامج التعليمي لديه موضوع واحد فقط ويتركه فارغًا). إذا كنت ترغب في تقديم صور مع خوادم مقطوعة الرأس مجهزة بـ NVIDIA GPU ، فأضف -e لتمكين عرض EGL. python -m apps.render_data -i {path_to_rp_dennis_posed_004_OBJ} -o {path_to_training_data} [-e]
تحذير: يصبح الرمز التالي بطيئًا للغاية بدون Pyembree. يرجى التأكد من تثبيت Pyembree.
./results و ./checkpoints على التوالي. يمكنك إضافة علامات --batch_size و --num_sample_input لضبط حجم الدُفعة وعدد النقاط التي تم أخذ عينات منها بناءً على ذاكرة GPU المتاحة. python -m apps.train_shape --dataroot {path_to_training_data} --random_flip --random_scale --random_trans
python -m apps.train_color --dataroot {path_to_training_data} --num_sample_inout 0 --num_sample_color 5000 --sigma 0.1 --random_flip --random_scale --random_trans
التقاط الأداء الحجمي أحادي الوقت (ECCV 2020)
Ruilong Li*، Yuliang Xiu*، Shunsuke Saito ، Zeng Huang ، Kyle Olszewski ، Hao Li
أول مرة في الوقت الحقيقي PIFU عن طريق تسريع إعادة الإعمار وتقديم !!
PIFUHD: وظيفة ضمنية متعددة المستويات محاذاة للرقم البشري ثلاثي الأبعاد عالية الدقة (CVPR 2020)
Shunsuke Saito ، توماس سيمون ، جيسون ساراجيه ، هانبيول جو
نحن كذلك تحسين جودة إعادة الإعمار من خلال الاستفادة من النهج متعدد المستويات!
القوس: إعادة بناء للبشر الملبس (CVPR 2020)
Zeng Huang ، Yuanlu Xu ، Christoph Lassner ، Hao Li ، Tony Tung
تعلم PIFU في الفضاء الكنسي لتوليد الرمزية القابلة للرسوم!
صور ذاتية ثلاثية الأبعاد قوية في ثوان (CVPR 2020)
Zhe Li ، Tao Yu ، Chuanyu Pan ، Zerong Zheng ، Yebin Liu
أنها تمد PIFU إلى RGBD + إدخال "pifusion" باستخدام إعادة بناء PIFU للانصهار غير المبتذلة.
تعلم استنتاج الأسطح الضمنية دون إشراف ثلاثي الأبعاد (Neups 2019)
Shichen Liu ، Shunsuke Saito ، Weikai Chen ، Hao Li
نجيب على سؤال "كيف يمكننا أن نتعلم الوظيفة الضمنية إذا لم يكن لدينا حقيقة ثلاثية الأبعاد؟"
Siclope: الأشخاص الملبسون القائم على صورة ظلية (CVPR 2019 ، أفضل ورقة نهائية)
Ryota Natsume*، Shunsuke Saito*، Zeng Huang ، Weikai Chen ، Chongyang MA ، Hao Li ، Shigeo Morishima
محاولتنا الأولى لإعادة بناء جسم الإنسان الملبس ثلاثي الأبعاد مع نسيج من صورة واحدة!
الفيديو الحجمي العميق من التقاط الأداء المتعدد الأداء المتناثر للغاية (ECCV 2018)
Zeng Huang ، Tianye Li ، Weikai Chen ، Yajie Zhao ، Jun Xing ، Chloe Legendre ، Linjie Luo ، Chongyang MA ، Hao Li
ضمنا التعلم السطحي للالتقاط الأداء البشري المتفرق!
للاستعلامات التجارية ، يرجى الاتصال:
HAO LI: [email protected] ccto: [email protected] baker !!
