PointNeXt

PointNext

[arxiv] | [OpenPoints库] | [在线文档]

官方Pytorch实施以下论文：

PointNext：通过改进的培训和缩放策略重新访问PointNet ++

Guocheng Qian，Yuchen Li，Houwen Peng，Jinjie Mai，Hasan Hammoud，Mohamed Elhoseiny，Bernard Ghanem

TL; DR：我们提出了改进的培训和模型缩放策略，以将PointNet ++提升到最新水平。带有建议的模型缩放的PointNet ++被命名为PointNext，是PointNet的下一个版本。

消息

• ？ 9月，2022年： PointNext被Neurips'22接受
• ？ Houwen Peng正在Microsoft Research Asia雇用研究实习生。联系人：[email protected]
• ？伯纳德·加纳姆（Bernard Ghanem）正在雇用来访的学生。每月薪水是免费住房支付的。如果有兴趣，请联系Guocheng：[email protected]
• ？ 2022年6月：发行的代码

特征

在PointNext项目中，我们为基于点的方法（即开放点）提出了一个新的灵活代码库。开放点和其他库之间的最大区别在于，我们更多地专注于可重复性和公平的基准测试。

1. 可扩展性：支持许多代表性网络以了解点云理解，例如PointNet，DGCNN，DeepGCN，PointNet ++，Assanet，PointMLP和我们的PointNext 。可以根据我们的框架轻松构建更多网络，因为OpenPoints支持了广泛的基本操作，包括图形卷积，自我注意，最远的点采样，球查询等。

2. 可重复性：所有实施的模型均受至少三次的各种任务培训。 PointNext纸张提供了平均值±STD。预验证的模型和日志可用。

3. 公平的基准测试：在PointNext中，我们发现绩效增长的很大一部分是由于培训策略所致。在开放点中，所有模型均经过改进的培训策略的培训，并且所有模型的准确性都比原始报告的值高得多。

4. 易用性：构建模型，优化器，调度程序，损耗功能和数据加载器从CFG轻松。通过简单地更改cfg**.yaml文件来训练和验证各种任务的不同模型。

    model = build_model_from_cfg(cfg.model)
   criterion = build_criterion_from_cfg(cfg.criterion_args)
   

   这是pointnet.yaml （点网模型的模型配置）的示例：

    model :
     NAME : BaseCls
     encoder_args :
       NAME : PointNetEncoder
       in_channels : 4
     cls_args :
       NAME : ClsHead
       num_classes : 15
       in_channels : 1024
       mlps : [ 512 , 256 ]
       norm_args : 
         norm : 'bn1d'

5. 在线记录：支持WandB随时随地检查结果。只需在您的命令中设置wandb.use_wandb=True即可。

   

---

安装

我们提供一个简单的bash文件来安装环境：

 git clone --recurse-submodules [email protected]:guochengqian/PointNeXt.git
cd PointNeXt
source update.sh
source install.sh

需要CUDA-11.3。如果使用了其他CUDA版本，请修改install.sh 。有关详细信息，请参见安装。

用法

检查我们的在线文档以获取详细说明。

简短的指示：所有实验遵循简单的规则进行训练和测试：

 CUDA_VISIBLE_DEVICES=$GPUs python examples/$task_folder/main.py --cfg $cfg $kwargs

• $ GPU是用于使用GPU的列表，对于大多数实验（ScanObjectnn，ModelNet40，S3DIS），我们仅使用1 A100（GPU = 0）
• $ task_folder是实验的文件夹名称。例如，对于S3DIS细分，$ task_folder = s3dis
• $ cfg是通往CFG的途径，例如，S3DIS细分，$ CFG = CFGS/S3DIS/POINTNEXT-S.YAML
• $ kwargs是要使用的其他关键字参数。例如，在S3DIS区域5中进行测试，$ kwargs应该是mode=test, --pretrained_path $pretrained_path 。

型号动物园（预算重）

请参阅模型动物园。

可视化

本文提供了更多示例。

---

致谢

该库的灵感来自Pytorch-image-Models和MMCV。

引用

如果您发现PointNext或OpenPoints代码库有用，请引用：

@InProceedings{qian2022pointnext,
  title   = {PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies},
  author  = {Qian, Guocheng and Li, Yuchen and Peng, Houwen and Mai, Jinjie and Hammoud, Hasan and Elhoseiny, Mohamed and Ghanem, Bernard},
  booktitle=Advances in Neural Information Processing Systems (NeurIPS),
  year    = {2022},
}