PointNeXt

PointNext

[arXiv] | [Bibliothèque OpenPoints] | [Documentation en ligne]

Implémentation officielle de Pytorch pour le document suivant:

PointNext: Revisiter PointNet ++ avec des stratégies de formation et de mise à l'échelle améliorées

Par Guocheng Qian, Yuchen Li, Houwen Peng, Jinjie Mai, Hasan Hammoud, Mohamed Elhoseiny, Bernard Ghanem

TL; DR: Nous proposons des stratégies de formation et de mise à l'échelle améliorées pour augmenter PointNet ++ au niveau de pointe. PointNet ++ avec la mise à l'échelle du modèle proposé est nommé PointNext, la prochaine version de PointNets.

Nouvelles

• ? Sep 2022: PointNext accepté par les neirips'22
• ? Houwen Peng embauche des stagiaires de recherche chez Microsoft Research Asia. Contact: [email protected]
• ? Bernard Ghanem embauche des étudiants en visite. Le salaire mensuel est payé avec un logement gratuit. Contactez Guocheng si vous êtes intéressé: [email protected]
• ? Jun, 2022: Code publié

Caractéristiques

Dans le projet PointNext, nous proposons une nouvelle base de code flexible pour les méthodes basées sur des points, à savoir les points ouverts . La plus grande différence entre les points ouverts et les autres bibliothèques est que nous nous concentrons davantage sur la reproductibilité et l'analyse comparative.

1. Extensibilité : prend en charge de nombreux réseaux représentatifs pour la compréhension des nuages de points, tels que PointNet, DGCNN, DeepGCN, PointNet ++, Assanet, PointMLP et notre pointNext . Plus de réseaux peuvent être construits facilement en fonction de notre cadre, car les points ouverts prennent en charge un large éventail d'opérations de base, y compris les convolutions de graphiques, l'auto-attente, l'échantillonnage de points les plus éloignés, la requête de balle, etc.

2. Reproductibilité : tous les modèles implémentés sont formés sur diverses tâches au moins trois fois. La moyenne ± MST est fournie dans le papier PointNext. Des modèles et des journaux pré-entraînés sont disponibles.

3. Benchmarking équitable : Dans PointNext, nous constatons que une grande partie du gain de performance est due aux stratégies de formation. Dans les points ouverts, tous les modèles sont formés avec les stratégies de formation améliorées et tous obtiennent une précision beaucoup plus élevée que la valeur signalée d'origine.

4. Facilité d'utilisation : modèle de construction , optimiseur, planificateur, fonction de perte et chargeur de données facilement à partir de CFG . Former et valider différents modèles sur diverses tâches en modifiant simplement le fichier cfg**.yaml .

    model = build_model_from_cfg(cfg.model)
   criterion = build_criterion_from_cfg(cfg.criterion_args)
   

   Voici un exemple de pointnet.yaml (configuration du modèle pour le modèle PointNet):

    model :
     NAME : BaseCls
     encoder_args :
       NAME : PointNetEncoder
       in_channels : 4
     cls_args :
       NAME : ClsHead
       num_classes : 15
       in_channels : 1024
       mlps : [ 512 , 256 ]
       norm_args : 
         norm : 'bn1d'

5. Journalisation en ligne : Soutenez WANDB pour vérifier vos résultats à tout moment. Définissez simplement wandb.use_wandb=True dans votre commande.

   

---

Installation

Nous fournissons un fichier bash simple pour installer l'environnement:

 git clone --recurse-submodules [email protected]:guochengqian/PointNeXt.git
cd PointNeXt
source update.sh
source install.sh

CUDA-11.3 est requis. Modifiez l' install.sh si une version CUDA différente est utilisée. Voir l'installation pour le détail.

Usage

Consultez notre documentation en ligne pour des instructions détaillées.

Une courte instruction: toutes les expériences suivent la règle simple pour s'entraîner et tester:

 CUDA_VISIBLE_DEVICES=$GPUs python examples/$task_folder/main.py --cfg $cfg $kwargs

• $ GPUS est la liste des GPU à utiliser, pour la plupart des expériences (ScanObjectnn, ModelNet40, S3DIS), nous n'utilisons que 1 A100 (GPUS = 0)
• $ task_folder est le nom du dossier de l'expérience. Par exemple, pour la segmentation S3DIS, $ task_folder = s3dis
• $ CFG est le chemin de CFG, par exemple, segmentation S3DIS, $ cfg = cfgs / s3dis / pointnext-s.yaml
• $ kwargs sont les autres arguments de mots clés à utiliser. Par exemple, les tests dans la zone S3DIS 5, $ kwargs devraient être mode=test, --pretrained_path $pretrained_path .

Modèle zoo (poids pré-entraînés)

Voir Model Zoo.

Visualisation

Plus d'exemples sont disponibles dans le papier.

---

Reconnaissance

Cette bibliothèque est inspirée par les modèles pytorch-image et le MMCV.

Citation

Si vous trouvez PointNext ou la base de code OpenPoints utile, veuillez citer:

@InProceedings{qian2022pointnext,
  title   = {PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies},
  author  = {Qian, Guocheng and Li, Yuchen and Peng, Houwen and Mai, Jinjie and Hammoud, Hasan and Elhoseiny, Mohamed and Ghanem, Bernard},
  booktitle=Advances in Neural Information Processing Systems (NeurIPS),
  year    = {2022},
}