PointNeXt

PointNext

[arxiv] | [OpenPoints庫] | [在線文檔]

官方Pytorch實施以下論文：

PointNext：通過改進的培訓和縮放策略重新訪問PointNet ++

Guocheng Qian，Yuchen Li，Houwen Peng，Jinjie Mai，Hasan Hammoud，Mohamed Elhoseiny，Bernard Ghanem

TL; DR：我們提出了改進的培訓和模型縮放策略，以將PointNet ++提升到最新水平。帶有建議的模型縮放的PointNet ++被命名為PointNext，是PointNet的下一個版本。

消息

• ？ 9月，2022年： PointNext被Neurips'22接受
• ？ Houwen Peng正在Microsoft Research Asia僱用研究實習生。聯繫人：[email protected]
• ？伯納德·加納姆（Bernard Ghanem）正在僱用來訪的學生。每月薪水是免費住房支付的。如果有興趣，請聯繫Guocheng：[email protected]
• ？ 2022年6月：發行的代碼

特徵

在PointNext項目中，我們為基於點的方法（即開放點）提出了一個新的靈活代碼庫。開放點和其他庫之間的最大區別在於，我們更多地專注於可重複性和公平的基準測試。

1. 可擴展性：支持許多代表性網絡以了解點雲理解，例如PointNet，DGCNN，DeepGCN，PointNet ++，Assanet，PointMLP和我們的PointNext 。可以根據我們的框架輕鬆構建更多網絡，因為OpenPoints支持了廣泛的基本操作，包括圖形卷積，自我注意，最遠的點採樣，球查詢等。

2. 可重複性：所有實施的模型均受至少三次的各種任務培訓。 PointNext紙張提供了平均值±STD。預驗證的模型和日誌可用。

3. 公平的基準測試：在PointNext中，我們發現績效增長的很大一部分是由於培訓策略所致。在開放點中，所有模型均經過改進的培訓策略的培訓，並且所有模型的準確性都比原始報告的值高得多。

4. 易用性：構建模型，優化器，調度程序，損耗功能和數據加載器從CFG輕鬆。通過簡單地更改cfg**.yaml文件來訓練和驗證各種任務的不同模型。

    model = build_model_from_cfg(cfg.model)
   criterion = build_criterion_from_cfg(cfg.criterion_args)
   

   這是pointnet.yaml （點網模型的模型配置）的示例：

    model :
     NAME : BaseCls
     encoder_args :
       NAME : PointNetEncoder
       in_channels : 4
     cls_args :
       NAME : ClsHead
       num_classes : 15
       in_channels : 1024
       mlps : [ 512 , 256 ]
       norm_args : 
         norm : 'bn1d'

5. 在線記錄：支持WandB隨時隨地檢查結果。只需在您的命令中設置wandb.use_wandb=True即可。

   

---

安裝

我們提供一個簡單的bash文件來安裝環境：

 git clone --recurse-submodules [email protected]:guochengqian/PointNeXt.git
cd PointNeXt
source update.sh
source install.sh

需要CUDA-11.3。如果使用了其他CUDA版本，請修改install.sh 。有關詳細信息，請參見安裝。

用法

檢查我們的在線文檔以獲取詳細說明。

簡短的指示：所有實驗遵循簡單的規則進行訓練和測試：

 CUDA_VISIBLE_DEVICES=$GPUs python examples/$task_folder/main.py --cfg $cfg $kwargs

• $ GPU是用於使用GPU的列表，對於大多數實驗（ScanObjectnn，ModelNet40，S3DIS），我們僅使用1 A100（GPU = 0）
• $ task_folder是實驗的文件夾名稱。例如，對於S3DIS細分，$ task_folder = s3dis
• $ cfg是通往CFG的途徑，例如，S3DIS細分，$ CFG = CFGS/S3DIS/POINTNEXT-S.YAML
• $ kwargs是要使用的其他關鍵字參數。例如，在S3DIS區域5中進行測試，$ kwargs應該是mode=test, --pretrained_path $pretrained_path 。

型號動物園（預算重）

請參閱模型動物園。

可視化

本文提供了更多示例。

---

致謝

該庫的靈感來自Pytorch-image-Models和MMCV。

引用

如果您發現PointNext或OpenPoints代碼庫有用，請引用：

@InProceedings{qian2022pointnext,
  title   = {PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies},
  author  = {Qian, Guocheng and Li, Yuchen and Peng, Houwen and Mai, Jinjie and Hammoud, Hasan and Elhoseiny, Mohamed and Ghanem, Bernard},
  booktitle=Advances in Neural Information Processing Systems (NeurIPS),
  year    = {2022},
}