Pointnet_Pointnet2_pytorch

تنفيذ Pytorch لـ PointNet و PointNet ++

هذا الريبو هو تطبيق PointNet و PointNet ++ في Pytorch.

تحديث

2021/03/27:

(1) حرر النماذج التي تم تدريبها مسبقًا للتجزئة الدلالية ، حيث يمكن لـ PointNet ++ تحقيق 53.5 ٪ MIOU.

(2) إطلاق نماذج تدريب مسبقًا للتصنيف وتجزئة الأجزاء في log/ .

2021/03/20: تحديث رموز التصنيف ، بما في ذلك:

(1) إضافة رموز لمجموعة بيانات ModelNet10 التدريب. باستخدام إعداد --num_category 10 .

(2) إضافة رموز للتشغيل على وحدة المعالجة المركزية فقط. باستخدام إعداد --use_cpu .

(3) إضافة رموز للمعالجة المسبقة للبيانات في وضع عدم الاتصال لتسريع التدريب. باستخدام إعداد --process_data .

(4) إضافة رموز للتدريب مع أخذ عينات موحدة. باستخدام إعداد --use_uniform_sample .

2019/11/26:

(1) إصلاح بعض الأخطاء في الرموز السابقة ومواصلة حيل زيادة البيانات. الآن التصنيف من قبل 1024 نقطة فقط يمكن أن تحقق 92.8 ٪ !

(2) إضافة رموز الاختبار ، بما في ذلك التصنيف والتجزئة ، والتجزئة الدلالية مع التصور.

(3) تنظيم جميع النماذج في ملفات ./models لسهولة استخدامها.

ثَبَّتَ

يتم اختبار أحدث الرموز على Ubuntu 16.04 و CUDA10.1 و Pytorch 1.6 و Python 3.7:

conda install pytorch==1.6.0 cudatoolkit=10.1 -c pytorch

التصنيف (ModelNet10/40)

إعداد البيانات

قم بتنزيل نموذج المحاذاة هنا وحفظ في data/modelnet40_normal_resampled/ .

يجري

يمكنك تشغيل أوضاع مختلفة مع الرموز التالية.

• إذا كنت ترغب في استخدام معالجة البيانات غير المتصلة بالإنترنت ، فيمكنك استخدام --process_data في المدى الأول. يمكنك تنزيل بيانات ما قبل المعالجة هنا وحفظها في data/modelnet40_normal_resampled/ .
• إذا كنت ترغب في التدريب على ModelNet10 ، فيمكنك استخدام --num_category 10 .

 # ModelNet40
# # Select different models in ./models 

# # e.g., pointnet2_ssg without normal features
python train_classification.py --model pointnet2_cls_ssg --log_dir pointnet2_cls_ssg
python test_classification.py --log_dir pointnet2_cls_ssg

# # e.g., pointnet2_ssg with normal features
python train_classification.py --model pointnet2_cls_ssg --use_normals --log_dir pointnet2_cls_ssg_normal
python test_classification.py --use_normals --log_dir pointnet2_cls_ssg_normal

# # e.g., pointnet2_ssg with uniform sampling
python train_classification.py --model pointnet2_cls_ssg --use_uniform_sample --log_dir pointnet2_cls_ssg_fps
python test_classification.py --use_uniform_sample --log_dir pointnet2_cls_ssg_fps

# ModelNet10
# # Similar setting like ModelNet40, just using --num_category 10

# # e.g., pointnet2_ssg without normal features
python train_classification.py --model pointnet2_cls_ssg --log_dir pointnet2_cls_ssg --num_category 10
python test_classification.py --log_dir pointnet2_cls_ssg --num_category 10

أداء

نموذج	دقة
Pointnet (مسؤول)	89.2
PointNet2 (المسؤول)	91.9
PointNet (Pytorch بدون عادي)	90.6
pointnet (pytorch مع عادي)	91.4
pointnet2_ssg (pytorch بدون عادي)	92.2
pointnet2_ssg (pytorch مع عادي)	92.4
pointnet2_msg (pytorch مع عادي)	92.8

تجزئة الجزء (Shapenet)

إعداد البيانات

قم بتنزيل محاذاة ShapeNet هنا وحفظ في data/shapenetcore_partanno_segmentation_benchmark_v0_normal/ .

يجري

 ## Check model in ./models 
## e.g., pointnet2_msg
python train_partseg.py --model pointnet2_part_seg_msg --normal --log_dir pointnet2_part_seg_msg
python test_partseg.py --normal --log_dir pointnet2_part_seg_msg

أداء

نموذج	إنقان avg iou	الفصل avg iou
Pointnet (مسؤول)	83.7	80.4
PointNet2 (المسؤول)	85.1	81.9
PointNet (Pytorch)	84.3	81.1
pointnet2_ssg (pytorch)	84.9	81.8
pointnet2_msg (pytorch)	85.4	82.5

التجزئة الدلالية (S3DIS)

إعداد البيانات

قم بتنزيل مجموعة بيانات التحليل الداخلي 3D ( S3DIS ) هنا وحفظها في data/s3dis/Stanford3dDataset_v1.2_Aligned_Version/ .

 cd data_utils
python collect_indoor3d_data.py

سيتم حفظ البيانات المعالجة في data/stanford_indoor3d/ .

يجري

 ## Check model in ./models 
## e.g., pointnet2_ssg
python train_semseg.py --model pointnet2_sem_seg --test_area 5 --log_dir pointnet2_sem_seg
python test_semseg.py --log_dir pointnet2_sem_seg --test_area 5 --visual

ستوفر نتائج التصور في log/sem_seg/pointnet2_sem_seg/visual/ ويمكنك تصور ملف .OBJ بواسطة meshlab.

أداء

نموذج	عموما ACC	الفصل avg iou	نقطة التفتيش
PointNet (Pytorch)	78.9	43.7	40.7 ميجابايت
pointnet2_ssg (pytorch)	83.0	53.5	11.2 ميجابايت

التصور

باستخدام show3d_balls.py

 ## build C++ code for visualization
cd visualizer
bash build.sh 
## run one example 
python show3d_balls.py

باستخدام meshlab

إشارة من قبل

Halimacc/pointnet3
fxia22/pointnet.pytorch
Charlesq34/PointNet
CharlesQ34/PointNet ++

اقتباس

إذا وجدت هذا الريبو مفيدًا في بحثك ، فيرجى التفكير في الاستشهاد به وأعمالنا الأخرى:

 @article{Pytorch_Pointnet_Pointnet2,
      Author = {Xu Yan},
      Title = {Pointnet/Pointnet++ Pytorch},
      Journal = {https://github.com/yanx27/Pointnet_Pointnet2_pytorch},
      Year = {2019}
}

 @InProceedings{yan2020pointasnl,
  title={PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling},
  author={Yan, Xu and Zheng, Chaoda and Li, Zhen and Wang, Sheng and Cui, Shuguang},
  journal={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  year={2020}
}

 @InProceedings{yan2021sparse,
  title={Sparse Single Sweep LiDAR Point Cloud Segmentation via Learning Contextual Shape Priors from Scene Completion},
  author={Yan, Xu and Gao, Jiantao and Li, Jie and Zhang, Ruimao, and Li, Zhen and Huang, Rui and Cui, Shuguang},
  journal={AAAI Conference on Artificial Intelligence ({AAAI})},
  year={2021}
}

 @InProceedings{yan20222dpass,
      title={2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds}, 
      author={Xu Yan and Jiantao Gao and Chaoda Zheng and Chao Zheng and Ruimao Zhang and Shuguang Cui and Zhen Li},
      year={2022},
      journal={ECCV}
}

مشاريع محددة باستخدام قاعدة البيانات هذه

• PointConv: شبكات تلافيفية عميقة على الغيوم ثلاثية الأبعاد ، CVPR'19
• على المتانة المتساوية لنماذج السحابة ثلاثية الأبعاد العميقة تحت هجمات الخصومة ، CVPR'20
• التعلم الموفرة للتسمية على غيوم النقاط باستخدام تحلل محدب تقريبي ، ECCV'20
• PCT: محول السحابة النقطة
• PSNET: هيكلة البيانات السريعة للتعلم العميق التسلسل الهرمي على سحابة النقطة
• محول طبقي للتجزئة السحابة ثلاثية الأبعاد ، CVPR'22