تنزيل ngp_pl - تنزيل رمز المصدر ngp

ngp_pl

بايثون

vren wheel

تنزيل

ngp_pl

الإعلان: تحقق من أحدث مشروع متكامل nerfstudio! هناك الكثير من التحسينات الحديثة على الأساليب المتعلقة بـ NERF ، بما في ذلك NGP الفوري!

تدرب NGP الفوري (NERF فقط) في Pytorch+CUDA المدربين مع Lightning Pytorch ( عالية الجودة ذات السرعة العالية ). يهدف هذا الريبو إلى توفير واجهة Pytorch موجزة لتسهيل الأبحاث المستقبلية ، وأنا ممتن إذا كنت تستطيع مشاركتها (والاقتباس هو موضع تقدير كبير)!

تنفيذ CUDA الرسمي
Torch-NGP تطبيق Pytorch آخر أشرت إليه بشدة.

؟ ️ المعرض

GUI.MP4

مقاطع فيديو تمثيلية أخرى موجودة في المعرض

تثبيت

يحتوي هذا التنفيذ على متطلبات صارمة بسبب التبعيات في المكتبات الأخرى ، إذا واجهت مشكلة في التثبيت بسبب عدم تطابق الأجهزة/البرامج ، أخشى أنه لا توجد نية لدعم منصات مختلفة (يتم الترحيب بك للمساهمة).

الأجهزة

OS: Ubuntu 20.04
GPU NVIDIA مع توافق حساب> = 75 والذاكرة> 6GB (تم اختبارها مع RTX 2080 TI) ، CUDA 11.3 (قد تعمل مع الإصدار الأقدم)
ذاكرة الوصول العشوائي 32 جيجابايت (من أجل تحميل صور كاملة الحجم)

برمجة

استنساخ هذا repo by git clone https://github.com/kwea123/ngp_pl
Python> = 3.8 (يوصى بالتثبيت عبر Anaconda ، استخدم conda create -n ngp_pl python=3.8 لإنشاء بيئة كوندا وتنشيطها بواسطة conda activate ngp_pl )
مكتبات بيثون
- تثبيت pytorch بواسطة pip install torch==1.11.0 --extra-index-url https://download.pytorch.org/whl/cu113
- قم بتثبيت torch-scatter بعد تعليماتهم
- قم بتثبيت tinycudann بعد تعليماتهم (امتداد Pytorch)
- تثبيت apex بعد تعليماتهم
- تثبيت المتطلبات الأساسية عن طريق pip install -r requirements.txt
امتداد CUDA: ترقية pip إلى> = 22.1 وقم بتشغيل pip install models/csrc/ (يرجى تشغيل هذا في كل مرة تقوم فيها pull الرمز)

مجموعات البيانات المدعومة

بيانات NSVF

قم بتنزيل مجموعات البيانات المعالجة مسبقًا ( Synthetic_NeRF ، Synthetic_NSVF ، BlendedMVS ، TanksAndTemples ) من NSVF. لا تقم بتغيير أسماء المجلدات نظرًا لوجود بعض الإصلاحات المرمزة في Dataloader.

بيانات NERF ++

قم بتنزيل البيانات من هنا.

بيانات Colmap

للحصول على بيانات مخصصة images.bin قم points3D.bin colmap واحصل على مجلد sparse/0 توجد بموجبه cameras.bin . يتم دعم البيانات التالية بتنسيق Colmap:

nerf_llff_data
بيانات mipnerf360
بيانات HDR-NERF. بالإضافة إلى ذلك ، قم بتنزيل تقدير Colmap Pose من هنا واستخرج إلى نفس الموقع.

بيانات RTMV

قم بتنزيل البيانات من هنا. لتحويل صور HDR إلى صور LDR للتدريب ، قم بتشغيل python misc/prepare_rtmv.py <path/to/RTMV> ، وسيقوم بإنشاء images/ مجلد تحت كل مجلد مشهد ، وسيستخدم هذه الصور للتدريب (واختبارها).

؟ تمرين

QuickStart: python train.py --root_dir <path/to/lego> --exp_name Lego

سيقوم بتدريب مشهد LEGO لمدة 30 ألف خطوة (كل خطوة مع 8192 Rays) ، وإجراء اختبار واحد في النهاية. يجب أن تنتهي عملية التدريب خلال حوالي 5 دقائق (إن حفظ صورة الاختبار بطيئة ، أضف --no_save_test لتعطيل). سيتم عرض اختبار PSNR في النهاية.

يمكن العثور على مزيد من الخيارات في OPT.Py.

للتدريب على مجموعة البيانات العامة الأخرى ، يرجى الرجوع إلى البرامج النصية تحت benchmarking .

؟ الاختبار

استخدم test.ipynb لإنشاء الصور. طراز Lego PretRained متاح هنا

استخدام واجهة المستخدم الرسومية: قم بتشغيل python show_gui.py متبوعًا بنفس المقاييس المفرطة المستخدمة في التدريب ( dataset_name ، root_dir ، etc) وأضف مسار نقطة التفتيش مع --ckpt_path <path/to/.ckpt>

مقارنة مع Torch-NGP والورقة

لقد قارنت الجودة (متوسط اختبار PSNR على Synthetic-NeRF ) وسرعة الاستدلال (على مشهد Lego ) مقابل Torch-NGP Torch-NGP (الإعدادات الافتراضية) والورقة ، كلها تدرب لمدة 5 دقائق:

طريقة	AVG PSNR	FPS	GPU
الشعلة NGP	31.46	18.2	2080 تي
مِلكِي	32.96	36.2	2080 تي
ورقة NGP فورية	33.18	60	3090

أما بالنسبة للجودة ، فإن الألغام أفضل قليلاً من Torch-NGP ، لكن النتيجة قد تتقلب عبر أشواط مختلفة.

أما بالنسبة للسرعة ، فإن الألغام أسرع من Torch-NGP ، ولكن لا يزال نصف سريع فقط مثل NGP الفوري. تعتمد السرعة على المشهد (إذا كان معظم المشهد فارغًا ، فستكون السرعة أسرع).

^{اليسار: Torch-NGP. الحق: لي.}

؟ المعايير

لتشغيل المعايير ، استخدم البرامج النصية تحت benchmarking .

يتم تدريب النتائج المتابعة الخاصة بي باستخدام 1 RTX 2080 TI (النتائج النوعية هنا):

الاصطناعية

	ميكروفون	ficus	كرسي	نقانق	مواد	الطبول	سفينة	ليغو	متوسط
PSNR	35.59	34.13	35.28	37.35	29.46	25.81	30.32	35.76	32.96
ssim	0.988	0.982	0.984	0.980	0.944	0.933	0.890	0.979	0.960
LPIPs	0.017	0.024	0.025	0.038	0.070	0.076	0.133	0.022	0.051
FPS	40.81	34.02	49.80	25.06	20.08	37.77	15.77	36.20	32.44
وقت التدريب	3M9S	3M12S	4M17S	5M53S	4M55S	4M7S	9m20s	5M5S	5M00S

الاصطناعية NSVF

	حامل النبيذ	Steamtrain	الضفدع	روبوت	دراجة	قصر	سفينة الفضاء	نمط الحياة	متوسط
PSNR	31.64	36.47	35.57	37.10	37.87	37.41	35.58	34.76	35.80
ssim	0.962	0.987	0.980	0.994	0.990	0.977	0.980	0.967	0.980
LPIPs	0.047	0.023	0.024	0.010	0.015	0.021	0.029	0.044	0.027
FPS	47.07	75.17	50.42	64.87	66.88	28.62	35.55	22.84	48.93
وقت التدريب	3M58S	3M44S	7m22s	3M25S	3M11S	6M45S	3M25S	4M56S	4M36S