PointNeXt

pointnext

[Arxiv] | [مكتبة OpenPoints] | [الوثائق عبر الإنترنت]

تنفيذ Pytorch الرسمي للورقة التالية:

PointNext: إعادة النظر في PointNet ++ مع تحسن استراتيجيات التدريب والتوسيع

بقلم غوتشنغ تشيان ، يوتشين لي ، هووين بينغ ، جينجي ماي ، حسن حمود ، محمد الحوسيني ، برنارد غنيم

TL ؛ DR: نقترح تحسين استراتيجيات التدريب والتحجيم النموذجي لتعزيز PointNet ++ إلى مستوى أحدث. تم تسمية PointNet ++ مع تحجيم النموذج المقترح على أنه PointNext ، الإصدار التالي من PointNets.

أخبار

• ؟ سبتمبر ، 2022: تم قبول pointnext بواسطة Neups'22
• ؟ يقوم Houwen Peng بتعيين متدربين في الأبحاث في Microsoft Research Asia. الاتصال: [email protected]
• ؟ بيرنارد غانيم يستأجر الطلاب الزائرين. يتم دفع الراتب الشهري مع الإسكان المجاني. اتصل بـ Guocheng إذا مهتم: [email protected]
• ؟ يونيو 2022: تم إصدار الرمز

سمات

في مشروع PointNext ، نقترح قاعدة كود جديدة ومرنة للطرق القائمة على النقاط ، وهي نقاط مفتوحة . الفرق الأكبر بين نقاط OpenPoints والمكتبات الأخرى هو أننا نركز بشكل أكبر على الاستنساخ والمعايير العادلة.

1. قابلية التوسيع : يدعم العديد من الشبكات التمثيلية لفهم السحابة النقطة ، مثل PointNet و DGCNN و DEERGGCN و PointNet ++ و Assanet و PointMLP و PointNext لدينا. يمكن بناء المزيد من الشبكات بسهولة بناءً على إطار عملنا نظرًا لأن نقاط OpenPoints تدعم مجموعة واسعة من العمليات الأساسية بما في ذلك Crapholtions ، والاعتداء الذاتي ، وأخذ أخذ عينات من النقاط ، واستعلام الكرة ، إلخ .

2. استنساخ : يتم تدريب جميع النماذج المنفذة على مهام مختلفة ثلاث مرات على الأقل. يعني ± STD في ورقة pointnext. تتوفر النماذج والسجلات المسبقة .

3. القياس العادل : في PointNext ، نجد جزءًا كبيرًا من مكسب الأداء يرجع إلى استراتيجيات التدريب. في النقاط المفتوحة ، يتم تدريب جميع النماذج مع استراتيجيات التدريب المحسنة وتحقق جميعها دقة أعلى بكثير من القيمة الأصلية المبلغ عنها.

4. سهولة الاستخدام : نموذج الإنشاء ، المحسن ، الجدولة ، وظيفة الخسارة ، وعملية بيانات البيانات بسهولة من CFG . تدريب والتحقق من صحة النماذج المختلفة في مهام مختلفة عن طريق تغيير ملف cfg**.yaml

    model = build_model_from_cfg(cfg.model)
   criterion = build_criterion_from_cfg(cfg.criterion_args)
   

   فيما يلي مثال على pointnet.yaml (تكوين النموذج لنموذج PointNet):

    model :
     NAME : BaseCls
     encoder_args :
       NAME : PointNetEncoder
       in_channels : 4
     cls_args :
       NAME : ClsHead
       num_classes : 15
       in_channels : 1024
       mlps : [ 512 , 256 ]
       norm_args : 
         norm : 'bn1d'

5. التسجيل عبر الإنترنت : دعم WANDB للتحقق من نتائجك في أي وقت في أي مكان. فقط قم بتعيين wandb.use_wandb=True في الأمر.

   

---

تثبيت

نحن نقدم ملف باش بسيط لتثبيت البيئة:

 git clone --recurse-submodules [email protected]:guochengqian/PointNeXt.git
cd PointNeXt
source update.sh
source install.sh

CUDA-11.3 مطلوب. قم بتعديل install.sh إذا تم استخدام إصدار CUDA مختلف. انظر التثبيت لمزيد من التفاصيل.

الاستخدام

تحقق من وثائقنا عبر الإنترنت للحصول على إرشادات مفصلة.

تعليمات قصيرة: جميع التجارب تتبع القاعدة البسيطة للتدريب والاختبار:

 CUDA_VISIBLE_DEVICES=$GPUs python examples/$task_folder/main.py --cfg $cfg $kwargs

• GPUS $ هي قائمة وحدات معالجة الرسومات التي يجب استخدامها ، لمعظم التجارب (ScanObjectnn ، ModelNet40 ، S3DIs) ، نستخدم فقط 1 A100 (GPUS = 0)
• $ task_folder هو اسم المجلد للتجربة. على سبيل المثال ، بالنسبة لتجزئة S3DIS ، $ task_folder = s3dis
• $ CFG هو المسار إلى CFG ، على سبيل المثال ، تجزئة S3DIS ، $ CFG = CFGS/S3DIS/POINTNEXT-S.YAML
• $ kwargs هي وسيطات الكلمات الرئيسية الأخرى التي يجب استخدامها. على سبيل المثال ، الاختبار في منطقة S3DIS 5 ، يجب أن يكون kwargs $ mode=test, --pretrained_path $pretrained_path .

حديقة الحيوان النموذجية (الأوزان المسبقة)

انظر نموذج حديقة الحيوان.

التصور

المزيد من الأمثلة متوفرة في الورقة.

---

شكر وتقدير

هذه المكتبة مستوحاة من Pytorch-image-models و MMCV.

اقتباس

إذا وجدت PointNext أو قاعدة CodeBase OpenPoints مفيدة ، فيرجى الاستشهاد:

@InProceedings{qian2022pointnext,
  title   = {PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies},
  author  = {Qian, Guocheng and Li, Yuchen and Peng, Houwen and Mai, Jinjie and Hammoud, Hasan and Elhoseiny, Mohamed and Ghanem, Bernard},
  booktitle=Advances in Neural Information Processing Systems (NeurIPS),
  year    = {2022},
}