PointNeXt

PointNext

[Arxiv] | [OpenPoints Library] | [Online -Dokumentation]

Offizielle Pytorch -Implementierung für das folgende Papier:

PointNext: PointNet ++ mit verbesserten Trainings- und Skalierungsstrategien wiederholen

von Guokeng Qian, Yuchen Li, Houwen Peng, Jinjie Mai, Hasan Hammoud, Mohamed Elhosesiny, Bernard Ghanememem

TL; DR: Wir schlagen verbesserte Trainings- und Modellskalierungsstrategien vor, um PointNet ++ auf die hochmoderne Ebene zu steigern. PointNet ++ mit der vorgeschlagenen Modellskalierung wird als PointNext bezeichnet, die nächste Version von Pointnets.

Nachricht

• ? September 2022: PointNext akzeptiert von Neurips'22
• ? Houwen Peng stellt Forschungspraktikanten bei Microsoft Research Asia ein. Kontakt: [email protected]
• ? Bernard Ghanem stellt Studentenbesuch ein. Das monatliche Gehalt wird mit kostenlosen Wohnraum bezahlt. Kontaktieren Sie Guocheng bei Interesse: [email protected]
• ? Juni 2022: Code veröffentlicht

Merkmale

Im PointNext-Projekt schlagen wir eine neue und flexible Codebasis für punktbasierte Methoden vor, nämlich OpenPoints . Der größte Unterschied zwischen OpenPoints und anderen Bibliotheken besteht darin, dass wir uns mehr auf Reproduzierbarkeit und faires Benchmarking konzentrieren.

1. Erweiterbarkeit : Unterstützt viele repräsentative Netzwerke für das Verständnis von Point Cloud, wie Pointnet, DGCNN, DeepGCN, PointNet ++, Assanet, PointMLP und unser PointNext . Weitere Netzwerke können auf der Grundlage unseres Frameworks problemlos erstellt werden, da OpenPoints eine breite Palette von grundlegenden Vorgängen unterstützen, darunter Graph-Konvolutionen, Selbstbekämpfung, am weitesten verbreitete Punktproben, Ballabfrage usw.

2. Reproduzierbarkeit : Alle implementierten Modelle werden mindestens dreimal an verschiedenen Aufgaben geschult. Der Mittelwert ± STD ist im PointNext -Papier enthalten. Vorbereitete Modelle und Protokolle sind verfügbar.

3. Faires Benchmarking : In Pointnext ist ein großer Teil des Leistungsgewinns auf die Trainingsstrategien zurückzuführen. In OpenPoints werden alle Modelle mit den verbesserten Trainingsstrategien geschult und erreichen eine viel höhere Genauigkeit als der ursprünglich gemeldete Wert.

4. Benutzerfreundlichkeit : Erstellen Sie Modell, Optimierer, Scheduler, Verlustfunktion und Datenlader problemlos von CFG . Trainieren und validieren Sie verschiedene Modelle bei verschiedenen Aufgaben, indem Sie einfach die cfg**.yaml -Datei ändern.

    model = build_model_from_cfg(cfg.model)
   criterion = build_criterion_from_cfg(cfg.criterion_args)
   

   Hier ist ein Beispiel für pointnet.yaml (Modellkonfiguration für PointNet -Modell):

    model :
     NAME : BaseCls
     encoder_args :
       NAME : PointNetEncoder
       in_channels : 4
     cls_args :
       NAME : ClsHead
       num_classes : 15
       in_channels : 1024
       mlps : [ 512 , 256 ]
       norm_args : 
         norm : 'bn1d'

5. Online -Protokollierung : Unterstützen Sie WANDB, um Ihre Ergebnisse jederzeit überall zu überprüfen. Setzen Sie einfach in Ihrem Befehl wandb.use_wandb=True .

   

---

Installation

Wir bieten eine einfache Bash -Datei zur Installation der Umgebung:

 git clone --recurse-submodules [email protected]:guochengqian/PointNeXt.git
cd PointNeXt
source update.sh
source install.sh

CUDA-11.3 ist erforderlich. Ändern Sie die install.sh wenn eine andere CUDA -Version verwendet wird. Weitere Informationen finden Sie in der Installation.

Verwendung

In unserer Online -Dokumentation finden Sie detaillierte Anweisungen.

Eine kurze Anweisung: Alle Experimente folgen der einfachen Regel, um zu trainieren und zu testen:

 CUDA_VISIBLE_DEVICES=$GPUs python examples/$task_folder/main.py --cfg $cfg $kwargs

• $ Gpus ist die Liste der GPUs, die für die meisten Experimente verwendet werden soll (ScanObjectnn, ModellNet40, S3DIS), verwenden wir nur 1 A100 (gpus = 0)
• $ task_Folder ist der Ordnerame des Experiments. Zum Beispiel für die S3DIS -Segmentierung $ task_folker = s3dis
• $ cfg ist der Pfad zu CFG, z.
• $ kwargs sind die anderen Keyword -Argumente, die verwendet werden müssen. Beispielsweise sollten Tests in S3DIS Area 5, $ kwargs mode=test, --pretrained_path $pretrained_path sein.

Modellzoo (vorgezogene Gewichte)

Siehe Model Zoo.

Visualisierung

Weitere Beispiele finden Sie im Papier.

---

Anerkennung

Diese Bibliothek ist von Pytorch-Image-Modellen und MMCV inspiriert.

Zitat

Wenn Sie PointNext oder die OpenPoints -Codebasis nützlich finden, zitieren Sie bitte:

@InProceedings{qian2022pointnext,
  title   = {PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies},
  author  = {Qian, Guocheng and Li, Yuchen and Peng, Houwen and Mai, Jinjie and Hammoud, Hasan and Elhoseiny, Mohamed and Ghanem, Bernard},
  booktitle=Advances in Neural Information Processing Systems (NeurIPS),
  year    = {2022},
}