PointceptのダウンロードPointceptソースコードのダウンロード

Pointceptは、ポイントクラウドの知覚研究のための強力で柔軟なコードベースです。また、次の論文の公式実装でもあります。

ポイントトランスV3：よりシンプル、より速く、強い
Xiaoyang Wu、Li Jiang、Peng-Shuai Wang、Zhijian Liu、Xihui Liu、Yu Qiao、Wanli Ouyang、Tong He、Hengshuang Zhao
コンピュータービジョンとパターン認識に関するIEEE会議（ CVPR ）2024-オーラル
[Backbone] [PTV3] - [arxiv] [bib] [Project]→こちら
OA-CNNS：3DセマンティックセグメンテーションのためのOMNI適応スパースCNN
Bohao Peng、Xiaoyang Wu、Li Jiang、Yukang Chen、Hengshuang Zhao、Zhuotao Tian、Jiaya Jia
コンピュータービジョンとパターン認識に関するIEEE会議（ CVPR ）2024
[Backbone] [OA -CNNS] - [arxiv] [bib]→こちら
マルチデータセットポイントプロンプトトレーニングを使用した大規模な3D表現学習に向けて
Xiaoyang Wu、Zhuotao Tian、Xin Wen、Bohao Peng、Xihui Liu、Kaicheng Yu、Hengshuang Zhao
コンピュータービジョンとパターン認識に関するIEEE会議（ CVPR ）2024
[プレレイン] [ppt] - [arxiv] [bib]→ここに
マスクされたシーンのコントラスト：監視されていない3D表現学習のためのスケーラブルなフレームワーク
Xiaoyang Wu、Xin Wen、Xihui Liu、Hengshuang Zhao
コンピュータービジョンとパターン認識に関するIEEE会議（ CVPR ）2023
[プレレイン] [MSC] - [arxiv] [bib]→こちら
セマンティックセグメンテーション用の学習コンテキストアウェア分類器（3Dパーツ）
Zhuotao Tian、Jiequan Cui、Li Jiang、Xiaojuan Qi、Xin Lai、Yixin Chen、Shu Liu、Jiaya Jia
人工知能に関するAAAI会議（ AAAI ）2023-オーラル
[semseg] [cac] - [arxiv] [bib] [2d part]→こちら
ポイントトランスV2：グループ化されたベクトルの注意とパーティションベースのプーリング
Xiaoyang Wu、Yixing Lao、Li Jiang、Xihui Liu、Hengshuang Zhao
神経情報処理システムに関する会議（ニューリップ）2022
[Backbone] [PTV2] - [arxiv] [bib]→こちら
ポイントトランス
Hengshuang Zhao、Li Jiang、Jiaya Jia、Philip Torr、Vladlen Koltun
コンピュータビジョンに関するIEEE国際会議（ ICCV ）2021-オーラル
[Backbone] [PTV1] - [arxiv] [bib]→こちら

さらに、 Pointceptは次の優れた作業（上記の封じ込め）を統合します。
バックボーン：Minkunet（ここ）、Spunet（ここ）、SPVCNN（ここ）、OACNNS（ここ）、PTV1（ここ）、PTV2（ここ）、PTV3（ここ）、StratifiedFormer（Here）、Octformer（Here）、Swin3d（ここ）;
セマンティックセグメンテーション：MIX3D（ここ）、CAC（ここ）;
インスタンスセグメンテーション：PointGroup（こちら）;
トレーニング前：PointContrast（ここ）、コントラストシーンのコンテキスト（ここ）、マスクされたシーンコントラスト（ここ）、ポイントプロンプトトレーニング（こちら）;
データセット：scannet（here）、scannet200（here）、scannet ++（here）、s3dis（here）、matterport3d（here）、arkitscene、structured3d（here）、semantickitti（here）、nuscenes（here）、modelnet40（here）、waymo（here）。

ハイライト

2024年5月：v1.5.2では、パフォーマンスを向上させるために、各データセットのデフォルト構造を再設計しました。ここからプレーズデータセットを再処理するか、前処理されたデータセットをダウンロードしてください。
2024年4月： PTV3は、CVPR'24によって90の口頭論文（3.3％が受け入れられた論文、0.78％の提出）の1つとして選択されています！
2024年3月：CVPR'24が受け入れたOA-CNNSのコードをリリースします。 OA-CNNS CAN @PBIHAOに関連する問題。
2024年2月： PTV3とPPTはCVPR'24に受け入れられており、Pointceptチームによる別の2つの論文もCVPR'24によって受け入れられています。すぐに公開されます！
2023年12月： PTV3はARXIVでリリースされ、コードはPointceptで利用可能です。 PTV3は、屋内および屋外のシナリオでSOTAパフォーマンスを達成する効率的なバックボーンモデルです。
2023年8月： PPTはArxivでリリースされます。 PPTは、屋内と屋外の両方のシナリオでSOTAパフォーマンスを達成するマルチダタセットの事前トレーニングフレームワークを提示します。さまざまな既存のトレーニング前のフレームワークとバックボーンと互換性があります。コードのリリース前バージョンにアクセスできます。興味のある方は、アクセスのために直接私に連絡してください。
3月、2023年：ポイントクラウド表現の学習と知覚のための非常に強力なツールであるCodeBase、 Pointceptをリリースしました。 Pointceptファミリーに参加するための新しい仕事を歓迎し、トレイルを開始する前にクイックスタートを読むことを強くお勧めします。
2023年2月： MSCとCECOはCVPR 2023で受け入れられました。MSCは、クロスダタセットの大規模な事前トレーニングを容易にする非常に効率的で効果的な前登録フレームワークです。どちらのアプローチも、コードベース内のすべての既存のバックボーンモデルと互換性があり、すぐにコードを公開できるようにします。
2023年1月：AAAI 2023の口頭でのCACは、Pointceptの組み込みにより3D結果を拡大しました。この追加により、CACはコードベース内のプラグ可能なセグメント装置として機能します。
Sep、2022 ： PTV2はNeurips 2022に受け入れられました。これはポイントトランスの継続です。提案されているGVA理論は、ほとんどの既存の注意メカニズムに適用できますが、グリッドプーリングは既存のプーリング方法への実用的な追加でもあります。

引用

あなたがあなたの研究に役立つポイントセプトを見つけた場合、私たちの仕事を励ましとして引用してください。（੭ˊ꒳ˋ）੭✧

 @misc{pointcept2023,
    title={Pointcept: A Codebase for Point Cloud Perception Research},
    author={Pointcept Contributors},
    howpublished = {url{https://github.com/Pointcept/Pointcept}},
    year={2023}
}

概要

インストール
データの準備
クイックスタート
モデル動物園
引用
了承

インストール

要件

ubuntu：18.04以上。
CUDA：11.3以上。
Pytorch：1.10.0以上。

コンドラ環境

conda create -n pointcept python=3.8 -y
conda activate pointcept
conda install ninja -y
# Choose version you want here: https://pytorch.org/get-started/previous-versions/
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch -y
conda install h5py pyyaml -c anaconda -y
conda install sharedarray tensorboard tensorboardx yapf addict einops scipy plyfile termcolor timm -c conda-forge -y
conda install pytorch-cluster pytorch-scatter pytorch-sparse -c pyg -y
pip install torch-geometric

# spconv (SparseUNet)
# refer https://github.com/traveller59/spconv
pip install spconv-cu113

# PPT (clip)
pip install ftfy regex tqdm
pip install git+https://github.com/openai/CLIP.git

# PTv1 & PTv2 or precise eval
cd libs/pointops
# usual
python setup.py install
# docker & multi GPU arch
TORCH_CUDA_ARCH_LIST= " ARCH LIST " python  setup.py install
# e.g. 7.5: RTX 3000; 8.0: a100 More available in: https://developer.nvidia.com/cuda-gpus
TORCH_CUDA_ARCH_LIST= " 7.5 8.0 " python  setup.py install
cd ../..

# Open3D (visualization, optional)
pip install open3d

データの準備

Scannet V2

プリプロセシングは、 ScanNet20 、 ScanNet200 、およびScanNet Data Efficient両方のセマンティックおよびインスタンスセグメンテーションをサポートします。

Scannet V2データセットをダウンロードします。

次のように、生のスキャンテットの前処理コードを実行します。

 # RAW_SCANNET_DIR: the directory of downloaded ScanNet v2 raw dataset.
# PROCESSED_SCANNET_DIR: the directory of the processed ScanNet dataset (output dir).
python pointcept/datasets/preprocessing/scannet/preprocess_scannet.py --dataset_root ${RAW_SCANNET_DIR} --output_root ${PROCESSED_SCANNET_DIR}

（オプション）scannetデータ効率的なファイルをダウンロードしてください：

 # download-scannet.py is the official download script
# or follow instructions here: https://kaldir.vc.in.tum.de/scannet_benchmark/data_efficient/documentation#download
python download-scannet.py --data_efficient -o ${RAW_SCANNET_DIR}
# unzip downloads
cd ${RAW_SCANNET_DIR} /tasks
unzip limited-annotation-points.zip
unzip limited-reconstruction-scenes.zip
# copy files to processed dataset folder
mkdir ${PROCESSED_SCANNET_DIR} /tasks
cp -r ${RAW_SCANNET_DIR} /tasks/points ${PROCESSED_SCANNET_DIR} /tasks
cp -r ${RAW_SCANNET_DIR} /tasks/scenes ${PROCESSED_SCANNET_DIR} /tasks

（代替）プリプロセスデータは直接ダウンロードできます[こちら]、ダウンロードする前に公式ライセンスに同意してください。

処理されたデータセットをコードベースにリンクします。

 # PROCESSED_SCANNET_DIR: the directory of the processed ScanNet dataset.
mkdir data
ln -s ${PROCESSED_SCANNET_DIR} ${CODEBASE_DIR} /data/scannet

scannet ++

Scannet ++データセットをダウンロードします。

次のように、RAW SCANNET ++の前処理コードを実行します。

 # RAW_SCANNETPP_DIR: the directory of downloaded ScanNet++ raw dataset.
# PROCESSED_SCANNETPP_DIR: the directory of the processed ScanNet++ dataset (output dir).
# NUM_WORKERS: the number of workers for parallel preprocessing.
python pointcept/datasets/preprocessing/scannetpp/preprocess_scannetpp.py --dataset_root ${RAW_SCANNETPP_DIR} --output_root ${PROCESSED_SCANNETPP_DIR} --num_workers ${NUM_WORKERS}

次のように、トレイン/VAL分割のサンプリングとチャンキング大きなポイントクラウドデータ（トレーニングにのみ使用）：

 # PROCESSED_SCANNETPP_DIR: the directory of the processed ScanNet++ dataset (output dir).
# NUM_WORKERS: the number of workers for parallel preprocessing.
python pointcept/datasets/preprocessing/sampling_chunking_data.py --dataset_root ${PROCESSED_SCANNETPP_DIR} --grid_size 0.01 --chunk_range 6 6 --chunk_stride 3 3 --split train --num_workers ${NUM_WORKERS}
python pointcept/datasets/preprocessing/sampling_chunking_data.py --dataset_root ${PROCESSED_SCANNETPP_DIR} --grid_size 0.01 --chunk_range 6 6 --chunk_stride 3 3 --split val --num_workers ${NUM_WORKERS}

（代替）プリプロセスデータは直接ダウンロードできます[こちら]、ダウンロードする前に公式ライセンスに同意してください。

処理されたデータセットをコードベースにリンクします。

 # PROCESSED_SCANNETPP_DIR: the directory of the processed ScanNet dataset.
mkdir data
ln -s ${PROCESSED_SCANNETPP_DIR} ${CODEBASE_DIR} /data/scannetpp

S3DIS

このGoogleフォームに入力して、S3DISデータをダウンロードしてください。 Stanford3dDataset_v1.2.zipファイルをダウンロードして解凍します。
Area_5/office_19/Annotations/ceiling Line 323474（103.0�0000=> 103.000000）のエラーを修正します。
（オプション）通常の解析のために、ここから完全な2D-3D S3DISデータセット（XYZなし）をダウンロードします。

次のように、S3DIの前処理コードを実行します。

 # S3DIS_DIR: the directory of downloaded Stanford3dDataset_v1.2 dataset.
# RAW_S3DIS_DIR: the directory of Stanford2d3dDataset_noXYZ dataset. (optional, for parsing normal)
# PROCESSED_S3DIS_DIR: the directory of processed S3DIS dataset (output dir).

# S3DIS without aligned angle
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR}
# S3DIS with aligned angle
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR} --align_angle
# S3DIS with normal vector (recommended, normal is helpful)
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR} --raw_root ${RAW_S3DIS_DIR} --parse_normal
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR} --raw_root ${RAW_S3DIS_DIR} --align_angle --parse_normal

（代替）プリプロセスデータは[こちら]（通常のベクトルとアライメント角を使用）ダウンロードすることもできます。ダウンロードする前に公式ライセンスに同意してください。

処理されたデータセットをコードベースにリンクします。

 # PROCESSED_S3DIS_DIR: the directory of processed S3DIS dataset.
mkdir data
ln -s ${PROCESSED_S3DIS_DIR} ${CODEBASE_DIR} /data/s3dis

構造3d

このGoogleフォームに記入して、構造化された3Dパノラマ関連およびパースペクティブ（フル）関連のZIPファイルをダウンロードします（それらを解凍する必要はありません）。
ダウンロードしたすべてのzipファイルを1つのフォルダー（ ${STRUCT3D_DIR} ）に整理します。

次のように、構造化された3Dの前処理コードを実行します。

 # STRUCT3D_DIR: the directory of downloaded Structured3D dataset.
# PROCESSED_STRUCT3D_DIR: the directory of processed Structured3D dataset (output dir).
# NUM_WORKERS: Number for workers for preprocessing, default same as cpu count (might OOM).
export PYTHONPATH=./
python pointcept/datasets/preprocessing/structured3d/preprocess_structured3d.py --dataset_root ${STRUCT3D_DIR} --output_root ${PROCESSED_STRUCT3D_DIR} --num_workers ${NUM_WORKERS} --grid_size 0.01 --fuse_prsp --fuse_pano

SWIN3Dの指示に続いて、元の40カテゴリのうち、0.001を超える周波数を持つ25のカテゴリを保持します。

（代替）プリプロセスデータは[こちら]をダウンロードすることもできます（解凍後471.7g、パノラマビューを使用して）、ダウンロードする前に公式ライセンスに同意してください。

処理されたデータセットをコードベースにリンクします。

 # PROCESSED_STRUCT3D_DIR: the directory of processed Structured3D dataset (output dir).
mkdir data
ln -s ${PROCESSED_STRUCT3D_DIR} ${CODEBASE_DIR} /data/structured3d

matterport3d

このページに従って、データセットへのアクセスをリクエストしてください。

シーンの分割を個々の部屋に表す「Region_Segmentation」タイプをダウンロードします。

 # download-mp.py is the official download script
# MATTERPORT3D_DIR: the directory of downloaded Matterport3D dataset.
python download-mp.py -o {MATTERPORT3D_DIR} --type region_segmentations

Region_Segmentationデータを解凍します

 # MATTERPORT3D_DIR: the directory of downloaded Matterport3D dataset.
python pointcept/datasets/preprocessing/matterport3d/unzip_matterport3d_region_segmentation.py --dataset_root {MATTERPORT3D_DIR}

次のように、MatterPort3Dの前処理コードを実行します。

 # MATTERPORT3D_DIR: the directory of downloaded Matterport3D dataset.
# PROCESSED_MATTERPORT3D_DIR: the directory of processed Matterport3D dataset (output dir).
# NUM_WORKERS: the number of workers for this preprocessing.
python pointcept/datasets/preprocessing/matterport3d/preprocess_matterport3d_mesh.py --dataset_root ${MATTERPORT3D_DIR} --output_root ${PROCESSED_MATTERPORT3D_DIR} --num_workers ${NUM_WORKERS}

処理されたデータセットをコードベースにリンクします。

 # PROCESSED_MATTERPORT3D_DIR: the directory of processed Matterport3D dataset (output dir).
mkdir data
ln -s ${PROCESSED_MATTERPORT3D_DIR} ${CODEBASE_DIR} /data/matterport3d

Openroomsの指示に続いて、MatterPort3Dのカテゴリを、天井カテゴリを追加して20のセマンティックカテゴリをScannetに再マッピングしました。

（代替）プリプロースデータもここからダウンロードできます。ダウンロードする前に公式ライセンスに同意してください。

Semantickitti

Semantickittiデータセットをダウンロードします。

データセットをコードベースにリンクします。

 # SEMANTIC_KITTI_DIR: the directory of SemanticKITTI dataset.
# |- SEMANTIC_KITTI_DIR
#   |- dataset
#     |- sequences
#       |- 00
#       |- 01
#       |- ...

mkdir -p data
ln -s ${SEMANTIC_KITTI_DIR} ${CODEBASE_DIR} /data/semantic_kitti

ヌスセン

公式のNusceneデータセット（Lidarセグメンテーション付き）をダウンロードし、ダウンロードしたファイルを次のように整理します。
```
NUSCENES_DIR
│── samples
│── sweeps
│── lidarseg
...
│── v1.0-trainval 
│── v1.0-test
```

次のように、ヌスケンの情報前処理コード（OpenPCDETから変更）を実行します。

 # NUSCENES_DIR: the directory of downloaded nuScenes dataset.
# PROCESSED_NUSCENES_DIR: the directory of processed nuScenes dataset (output dir).
# MAX_SWEEPS: Max number of sweeps. Default: 10.
pip install nuscenes-devkit pyquaternion
python pointcept/datasets/preprocessing/nuscenes/preprocess_nuscenes_info.py --dataset_root ${NUSCENES_DIR} --output_root ${PROCESSED_NUSCENES_DIR} --max_sweeps ${MAX_SWEEPS} --with_camera

（代替）プリプロセスヌスセン情報データは、[こちら]（処理された情報のみ、未定データセットをダウンロードしてフォルダーにリンクする必要がある）をダウンロードすることもできます。ダウンロードする前に公式ライセンスに同意してください。

生データセットを処理されたヌスケンデータセットフォルダーにリンクします。

 # NUSCENES_DIR: the directory of downloaded nuScenes dataset.
# PROCESSED_NUSCENES_DIR: the directory of processed nuScenes dataset (output dir).
ln -s ${NUSCENES_DIR} {PROCESSED_NUSCENES_DIR}/raw

次に、処理されたヌスセンフォルダーが次のように編成されます。

nuscene
| ── raw
    │── samples
    │── sweeps
    │── lidarseg
    ...
    │── v1.0-trainval
    │── v1.0-test
| ── info

処理されたデータセットをコードベースにリンクします。

 # PROCESSED_NUSCENES_DIR: the directory of processed nuScenes dataset (output dir).
mkdir data
ln -s ${PROCESSED_NUSCENES_DIR} ${CODEBASE_DIR} /data/nuscenes

ウェイモ

公式のWaymoデータセット（v1.4.3）をダウンロードし、次のようにダウンロードしたファイルを整理します。
```
WAYMO_RAW_DIR
│── training
│── validation
│── testing
```

次の依存関係をインストールします。

 # If shows "No matching distribution found", download whl directly from Pypi and install the package.
conda create -n waymo python=3.10 -y
conda activate waymo
pip install waymo-open-dataset-tf-2-12-0

次のように前処理コードを実行します。

 # WAYMO_DIR: the directory of the downloaded Waymo dataset.
# PROCESSED_WAYMO_DIR: the directory of the processed Waymo dataset (output dir).
# NUM_WORKERS: num workers for preprocessing
python pointcept/datasets/preprocessing/waymo/preprocess_waymo.py --dataset_root ${WAYMO_DIR} --output_root ${PROCESSED_WAYMO_DIR} --splits training validation --num_workers ${NUM_WORKERS}

処理されたデータセットをコードベースにリンクします。

 # PROCESSED_WAYMO_DIR: the directory of the processed Waymo dataset (output dir).
mkdir data
ln -s ${PROCESSED_WAYMO_DIR} ${CODEBASE_DIR} /data/waymo

ModelNet

modelnet40_normal_resampled.zipとunzipをダウンロードします

データセットをコードベースにリンクします。

mkdir -p data
ln -s ${MODELNET_DIR} ${CODEBASE_DIR} /data/modelnet40_normal_resampled

クイックスタート

トレーニング

ゼロから列車。トレーニング処理は、 configsフォルダーの構成に基づいています。トレーニングスクリプトは、 expフォルダーに実験フォルダーと実験フォルダーに必須コードをバックアップすることが生成されます。トレーニングの構成、ログ、テンソルボード、およびチェックポイントも、トレーニングプロセス中に実験フォルダーに保存されます。

 export CUDA_VISIBLE_DEVICES= ${CUDA_VISIBLE_DEVICES}
# Script (Recommended)
sh scripts/train.sh -p ${INTERPRETER_PATH} -g ${NUM_GPU} -d ${DATASET_NAME} -c ${CONFIG_NAME} -n ${EXP_NAME}
# Direct
export PYTHONPATH=./
python tools/train.py --config-file ${CONFIG_PATH} --num-gpus ${NUM_GPU} --options save_path= ${SAVE_PATH}

例えば：

 # By script (Recommended)
# -p is default set as python and can be ignored
sh scripts/train.sh -p python -d scannet -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# Direct
export PYTHONPATH=./
python tools/train.py --config-file configs/scannet/semseg-pt-v2m2-0-base.py --options save_path=exp/scannet/semseg-pt-v2m2-0-base

チェックポイントからのトレーニングを再開します。トレーニングプロセスが偶然に中断された場合、次のスクリプトは特定のチェックポイントからトレーニングを再開できます。

 export CUDA_VISIBLE_DEVICES= ${CUDA_VISIBLE_DEVICES}
# Script (Recommended)
# simply add "-r true"
sh scripts/train.sh -p ${INTERPRETER_PATH} -g ${NUM_GPU} -d ${DATASET_NAME} -c ${CONFIG_NAME} -n ${EXP_NAME} -r true
# Direct
export PYTHONPATH=./
python tools/train.py --config-file ${CONFIG_PATH} --num-gpus ${NUM_GPU} --options save_path= ${SAVE_PATH} resume=True weight= ${CHECKPOINT_PATH}

テスト

トレーニング中、グリッドサンプリング後のポイントクラウド（ボクセル化）でモデル評価が実行され、モデルパフォーマンスの初期評価が提供されます。ただし、正確な評価結果を得るには、テストが不可欠です。テストプロセスでは、密なポイントクラウドを一連のボクセル化ポイントクラウドにサブサンプリングし、すべてのポイントの包括的なカバレッジを確保することが含まれます。次に、これらのサブ配信が予測され、収集されて、ポイントクラウド全体の完全な予測を形成します。このアプローチは、予測を単純にマッピング/補間することと比較して、より高い評価結果をもたらします。さらに、テストコードはTTA（テスト時間拡張）テストをサポートしており、評価パフォーマンスの安定性をさらに高めます。

 # By script (Based on experiment folder created by training script)
sh scripts/test.sh -p ${INTERPRETER_PATH} -g ${NUM_GPU} -d ${DATASET_NAME} -n ${EXP_NAME} -w ${CHECKPOINT_NAME}
# Direct
export PYTHONPATH=./
python tools/test.py --config-file ${CONFIG_PATH} --num-gpus ${NUM_GPU} --options save_path= ${SAVE_PATH} weight= ${CHECKPOINT_PATH}

例えば：

 # By script (Based on experiment folder created by training script)
# -p is default set as python and can be ignored
# -w is default set as model_best and can be ignored
sh scripts/test.sh -p python -d scannet -n semseg-pt-v2m2-0-base -w model_best
# Direct
export PYTHONPATH=./
python tools/test.py --config-file configs/scannet/semseg-pt-v2m2-0-base.py --options save_path=exp/scannet/semseg-pt-v2m2-0-base weight=exp/scannet/semseg-pt-v2m2-0-base/model/model_best.pth

TTAはdata.test.test_cfg.aug_transform = [...]を置き換えることで無効にできます。

 data = dict (
    train = dict (...),
    val = dict (...),
    test = dict (
        ...,
        test_cfg = dict (
            ...,
            aug_transform = [
                [ dict ( type = "RandomRotateTargetAngle" , angle = [ 0 ], axis = "z" , center = [ 0 , 0 , 0 ], p = 1 )]
            ]
        )
    )
)

オフセット

Offset 、バッチデータのポイントクラウドのセパレーターであり、PYGのBatchの概念に似ています。バッチとオフセットの視覚的なイラストは次のとおりです。

モデル動物園

1。バックボーンとセマンティックセグメンテーション

Sparseunet

Pointceptは、 SpConvとMinkowskiEngineによって実装されたSparseUNetを提供します。 SPCONVはMinkowskiengineよりも簡単にインストールでき、より速くなるため、SPCONVバージョンをお勧めします。一方、SPCONVは屋外認識にも広く適用されています。

SPCONV（推奨）

コードベースのSPCONVバージョンSparseUNet 、 MinkowskiEngineバージョンから完全に書き換えられました。実行中のスクリプトの例は次のとおりです。

 # ScanNet val
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# S3DIS (with normal)
sh scripts/train.sh -g 4 -d s3dis -c semseg-spunet-v1m1-0-cn-base -n semseg-spunet-v1m1-0-cn-base
# SemanticKITTI
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# nuScenes
sh scripts/train.sh -g 4 -d nuscenes -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# ModelNet40
sh scripts/train.sh -g 2 -d modelnet40 -c cls-spunet-v1m1-0-base -n cls-spunet-v1m1-0-base

# ScanNet Data Efficient
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la20 -n semseg-spunet-v1m1-2-efficient-la20
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la50 -n semseg-spunet-v1m1-2-efficient-la50
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la100 -n semseg-spunet-v1m1-2-efficient-la100
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la200 -n semseg-spunet-v1m1-2-efficient-la200
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr1 -n semseg-spunet-v1m1-2-efficient-lr1
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr5 -n semseg-spunet-v1m1-2-efficient-lr5
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr10 -n semseg-spunet-v1m1-2-efficient-lr10
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr20 -n semseg-spunet-v1m1-2-efficient-lr20

# Profile model run time
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-0-enable-profiler -n semseg-spunet-v1m1-0-enable-profiler

Minkowskiengine

コードベースのMinkowskiengineバージョンSparseUNet 、元のMinkowskiengineリポジトリから変更され、実行中のスクリプトの例は次のとおりです。

Minkowskiengineをインストールするには、https：//github.com/nvidia/minkowskiengineを参照してください
次の例のスクリプトでトレーニング：

 # Uncomment "# from .sparse_unet import *" in "pointcept/models/__init__.py"
# Uncomment "# from .mink_unet import *" in "pointcept/models/sparse_unet/__init__.py"
# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base
# SemanticKITTI
sh scripts/train.sh -g 2 -d semantic_kitti -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base

OA-CNNS

軽量モジュールを統合して最小限の計算コストでスパースCNNの適応性を大幅に向上させるネットワークのファミリであるOmni-Adprytive 3D CNNS（ OA-CNNS ）を導入します。自己関節モジュールがなければ、 OA-CNNは、屋内と屋外の両方のシーンの精度の点でポイントトランスを好意的に上回り、レイテンシとメモリのコストがはるかに低くなります。 OA-CNNS CAN @PBIHAOに関連する問題。

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-oacnns-v1m1-0-base -n semseg-oacnns-v1m1-0-base

ポイントトランス

PTV3

PTV3は、屋内および屋外のシナリオでSOTAパフォーマンスを達成する効率的なバックボーンモデルです。完全なPTV3はフラッシュ放送に依存していますが、フラッシュアットはCUDA 11.6以降に依存していますが、地元のポイントセプト環境が要件を満たしていることを確認してください。

要件を満たすためにローカル環境をアップグレードできない場合（CUDA> = 11.6）、モデルパラメーターenable_flashをfalseに設定し、 enc_patch_sizeとdec_patch_sizeレベルに削減することでフラッシュ放送を無効にできます（例えば128）。

Flashattention ForceはRPEを無効にし、精度をFP16に強制します。これらの機能が必要な場合は、 enable_flashを無効にし、 enable_rpe 、 upcast_attention 、 upcast_softmaxを調整してください。

詳細な指示と実験記録（重量を含む）は、プロジェクトリポジトリで入手できます。実行しているスクリプトの例は次のとおりです。

 # Scratched ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# PPT joint training (ScanNet + Structured3D) and evaluate in ScanNet
sh scripts/train.sh -g 8 -d scannet -c semseg-pt-v3m1-1-ppt-extreme -n semseg-pt-v3m1-1-ppt-extreme

# Scratched ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# Fine-tuning from  PPT joint training (ScanNet + Structured3D) with ScanNet200
# PTV3_PPT_WEIGHT_PATH: Path to model weight trained by PPT multi-dataset joint training
# e.g. exp/scannet/semseg-pt-v3m1-1-ppt-extreme/model/model_best.pth
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v3m1-1-ppt-ft -n semseg-pt-v3m1-1-ppt-ft -w ${PTV3_PPT_WEIGHT_PATH}

# Scratched ScanNet++
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# Scratched ScanNet++ test
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v3m1-1-submit -n semseg-pt-v3m1-1-submit


# Scratched S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# an example for disbale flash_attention and enable rpe.
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v3m1-1-rpe -n semseg-pt-v3m1-0-rpe
# PPT joint training (ScanNet + S3DIS + Structured3D) and evaluate in ScanNet
sh scripts/train.sh -g 8 -d s3dis -c semseg-pt-v3m1-1-ppt-extreme -n semseg-pt-v3m1-1-ppt-extreme
# S3DIS 6-fold cross validation
# 1. The default configs are evaluated on Area_5, modify the "data.train.split", "data.val.split", and "data.test.split" to make the config evaluated on Area_1 ~ Area_6 respectively.
# 2. Train and evaluate the model on each split of areas and gather result files located in "exp/s3dis/EXP_NAME/result/Area_x.pth" in one single folder, noted as RECORD_FOLDER.
# 3. Run the following script to get S3DIS 6-fold cross validation performance:
export PYTHONPATH=./
python tools/test_s3dis_6fold.py --record_root ${RECORD_FOLDER}

# Scratched nuScenes
sh scripts/train.sh -g 4 -d nuscenes -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# Scratched Waymo
sh scripts/train.sh -g 4 -d waymo -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base

# More configs and exp records for PTv3 will be available soon.

屋内セマンティックセグメンテーション

モデル	ベンチマーク	追加データ	num gpus	Val Miou	config	テンソルボード	Expレコード
PTV3	スキャネット	✗	4	77.6％	リンク	リンク	リンク
PTV3 + PPT	スキャネット	✓✓	8	78.5％	リンク	リンク	リンク
PTV3	scannet200	✗	4	35.3％	リンク	リンク	リンク
PTV3 + PPT	scannet200	✓（ft）	4
PTV3	S3DIS（エリア5）	✗	4	73.6％	リンク	リンク	リンク
PTV3 + PPT	S3DIS（エリア5）	✓✓	8	75.4％	リンク	リンク	リンク

屋外セマンティックセグメンテーション

モデル	ベンチマーク	追加データ	num gpus	Val Miou	config	テンソルボード	Expレコード
PTV3	ヌスセン	✗	4	80.3	リンク	リンク	リンク
PTV3 + PPT	ヌスセン	✓✓	8
PTV3	Semantickitti	✗	4
PTV3 + PPT	Semantickitti	✓✓	8
PTV3	ウェイモ	✗	4	71.2	リンク	リンク	リンク（ログのみ）
PTV3 + PPT	ウェイモ	✓✓	8

*リリースされたモデルの重みはv1.5.1用にトレーニングされ、v1.5.2の重みはまだ進行中です。

PTV2モード2

元のPTV2は、4 * RTX A6000（48Gメモリ）でトレーニングされました。 AMPを有効にしても、元のPTV2のメモリコストは24gよりわずかに大きくなっています。 24Gメモリを持つGPUをよりアクセスしやすいことを考慮すると、最新のPointceptでPTV2を調整し、4 * RTX 3090マシンで実行可能にしました。

PTv2 Mode2 、AMPを有効にし、マルチャーとグループ化された線形をエンコードする位置を無効にします。さらなる調査中に、ポイントクラウドの理解には正確な座標が必要ではないことがわかりました（正確な座標をグリッド座標に置き換えることはパフォーマンスに影響しません。また、SparseUnetは例です）。グループ化された線形に関しては、グループ化された線形の私の実装は、Pytorchが提供する線形層よりもメモリのコストがかかるようです。コードベースとより良いパラメーターのチューニングの恩恵を受けると、過剰な問題も緩和します。繁殖パフォーマンスは、私たちの論文で報告されている結果よりもさらに優れています。

実行しているスクリプトの例は次のとおりです。

 # ptv2m2: PTv2 mode2, disable PEM & Grouped Linear, GPU memory cost < 24G (recommend)
# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m2-3-lovasz -n semseg-pt-v2m2-3-lovasz

# ScanNet test
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m2-1-submit -n semseg-pt-v2m2-1-submit
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# ScanNet++
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# ScanNet++ test
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v2m2-1-submit -n semseg-pt-v2m2-1-submit
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# SemanticKITTI
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# nuScenes
sh scripts/train.sh -g 4 -d nuscenes -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base

PTV2モード1

PTv2 mode1 、私たちが論文で報告した元のPTV2であり、ランニングスクリプトの例は次のとおりです。

 # ptv2m1: PTv2 mode1, Original PTv2, GPU memory cost > 24G
# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m1-0-base -n semseg-pt-v2m1-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v2m1-0-base -n semseg-pt-v2m1-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v2m1-0-base -n semseg-pt-v2m1-0-base

PTV1

元のPTV1は、Pointcept CodeBaseでも利用できます。私は長い間PTV1を実行していませんが、実行中の例がうまく機能することを確認しました。

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v1-0-base -n semseg-pt-v1-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v1-0-base -n semseg-pt-v1-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v1-0-base -n semseg-pt-v1-0-base

層状変圧器

追加要件：

pip install torch-points3d
# Fix dependence, caused by installing torch-points3d 
pip uninstall SharedArray
pip install SharedArray==3.2.1

cd libs/pointops2
python setup.py install
cd ../..

comment # from .stratified_transformer import * pointcept/models/__init__.pyの.stratifed_transformerインポート *。
オプションのインストールを参照して、依存をインストールしてください。
次の例のスクリプトでトレーニング：

 # stv1m1: Stratified Transformer mode1, Modified from the original Stratified Transformer code.
# PTv2m2: Stratified Transformer mode2, My rewrite version (recommend).

# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-st-v1m2-0-refined -n semseg-st-v1m2-0-refined
sh scripts/train.sh -g 4 -d scannet -c semseg-st-v1m1-0-origin -n semseg-st-v1m1-0-origin
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-st-v1m2-0-refined -n semseg-st-v1m2-0-refined
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-st-v1m2-0-refined -n semseg-st-v1m2-0-refined

spvcnn

SPVCNNはSPVNAのベースラインモデルであり、屋外データセットの実用的なベースラインでもあります。

TorchsParseをインストールします：

 # refer https://github.com/mit-han-lab/torchsparse
# install method without sudo apt install
conda install google-sparsehash -c bioconda
export C_INCLUDE_PATH= ${CONDA_PREFIX} /include: $C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH= ${CONDA_PREFIX} /include:CPLUS_INCLUDE_PATH
pip install --upgrade git+https://github.com/mit-han-lab/torchsparse.git

次の例のスクリプトでトレーニング：

 # SemanticKITTI
sh scripts/train.sh -g 2 -d semantic_kitti -c semseg-spvcnn-v1m1-0-base -n semseg-spvcnn-v1m1-0-base

Octformer

OctformerのOctformer：3Dポイントクラウド用のOctreeベースの変圧器。

追加要件：

 cd libs
git clone https://github.com/octree-nn/dwconv.git
pip install ./dwconv
pip install ocnn

comment # from .octformer import * in pointcept/models/__init__.py 。
次の例のスクリプトでトレーニング：

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-octformer-v1m1-0-base -n semseg-octformer-v1m1-0-base

swin3d

SWIN3DのSWIN3D：3D屋内シーンの理解のための前提条件の変圧器バックボーン。

追加要件：

 # 1. Install MinkEngine v0.5.4, follow readme in https://github.com/NVIDIA/MinkowskiEngine;
# 2. Install Swin3D, mainly for cuda operation:
cd libs
git clone https://github.com/microsoft/Swin3D.git
cd Swin3D
pip install ./

comment # from .swin3d import * in pointcept/models/__init__.py 。
次の例のスクリプトを使用した事前トレーニング（構造化された3D前処理を参照してください）：

 # Structured3D + Swin-S
sh scripts/train.sh -g 4 -d structured3d -c semseg-swin3d-v1m1-0-small -n semseg-swin3d-v1m1-0-small
# Structured3D + Swin-L
sh scripts/train.sh -g 4 -d structured3d -c semseg-swin3d-v1m1-1-large -n semseg-swin3d-v1m1-1-large

# Addition
# Structured3D + SpUNet
sh scripts/train.sh -g 4 -d structured3d -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# Structured3D + PTv2
sh scripts/train.sh -g 4 -d structured3d -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base

次の例のスクリプトで微調整します。

 # ScanNet + Swin-S
sh scripts/train.sh -g 4 -d scannet -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-0-small -n semseg-swin3d-v1m1-0-small
# ScanNet + Swin-L
sh scripts/train.sh -g 4 -d scannet -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-1-large -n semseg-swin3d-v1m1-1-large

# S3DIS + Swin-S (here we provide config support S3DIS normal vector)
sh scripts/train.sh -g 4 -d s3dis -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-0-small -n semseg-swin3d-v1m1-0-small
# S3DIS + Swin-L (here we provide config support S3DIS normal vector)
sh scripts/train.sh -g 4 -d s3dis -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-1-large -n semseg-swin3d-v1m1-1-large

コンテキストアウェア分類器

Context-Aware Classifier Default Segmentorの代替品として、各バックボーンのパフォーマンスをさらに高めることができるセグメント装置です。次の例のスクリプトでトレーニング：

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-cac-v1m1-0-spunet-base -n semseg-cac-v1m1-0-spunet-base
sh scripts/train.sh -g 4 -d scannet -c semseg-cac-v1m1-1-spunet-lovasz -n semseg-cac-v1m1-1-spunet-lovasz
sh scripts/train.sh -g 4 -d scannet -c semseg-cac-v1m1-2-ptv2-lovasz -n semseg-cac-v1m1-2-ptv2-lovasz

# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-cac-v1m1-0-spunet-base -n semseg-cac-v1m1-0-spunet-base
sh scripts/train.sh -g 4 -d scannet200 -c semseg-cac-v1m1-1-spunet-lovasz -n semseg-cac-v1m1-1-spunet-lovasz
sh scripts/train.sh -g 4 -d scannet200 -c semseg-cac-v1m1-2-ptv2-lovasz -n semseg-cac-v1m1-2-ptv2-lovasz

2。インスタンスセグメンテーション

ポイントグループ

PointGroupは、Point Cloudインスタンスセグメンテーションのベースラインフレームワークです。

追加要件：

conda install -c bioconda google-sparsehash 
cd libs/pointgroup_ops
python setup.py install --include_dirs= ${CONDA_PREFIX} /include
cd ../..

uncomment # from .point_group import * pointcept/models/__init__.py 。
次の例のスクリプトでトレーニング：

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c insseg-pointgroup-v1m1-0-spunet-base -n insseg-pointgroup-v1m1-0-spunet-base
# S3DIS
sh scripts/train.sh -g 4 -d scannet -c insseg-pointgroup-v1m1-0-spunet-base -n insseg-pointgroup-v1m1-0-spunet-base

3。トレーニング前

マスクされたシーンコントラスト（MSC）

次の例のスクリプトを使用してトレーニングを事前にトレーニングします。

 # ScanNet
sh scripts/train.sh -g 8 -d scannet -c pretrain-msc-v1m1-0-spunet-base -n pretrain-msc-v1m1-0-spunet-base

次の例のスクリプトで微調整します。
インスタンスセグメンテーションタスクで微調整する前に、ポイントグループ（こちら）を有効にします。

 # ScanNet20 Semantic Segmentation
sh scripts/train.sh -g 8 -d scannet -w exp/scannet/pretrain-msc-v1m1-0-spunet-base/model/model_last.pth -c semseg-spunet-v1m1-4-ft -n semseg-msc-v1m1-0f-spunet-base
# ScanNet20 Instance Segmentation (enable PointGroup before running the script)
sh scripts/train.sh -g 4 -d scannet -w exp/scannet/pretrain-msc-v1m1-0-spunet-base/model/model_last.pth -c insseg-pointgroup-v1m1-0-spunet-base -n insseg-msc-v1m1-0f-pointgroup-spunet-base

例のログと重量：[プレレイン] [semseg]

ポイントプロンプトトレーニング（PPT）

PPTは、マルチダタセットの事前トレーニングフレームワークを提示し、既存のさまざまなトレーニング前フレームワークとバックボーンと互換性があります。

PPTは、次の例のスクリプトを使用して共同トレーニングを監督しました。

 # ScanNet + Structured3d, validate on ScanNet (S3DIS might cause long data time, w/o S3DIS for a quick validation) >= 3090 * 8 
sh scripts/train.sh -g 8 -d scannet -c semseg-ppt-v1m1-0-sc-st-spunet -n semseg-ppt-v1m1-0-sc-st-spunet
sh scripts/train.sh -g 8 -d scannet -c semseg-ppt-v1m1-1-sc-st-spunet-submit -n semseg-ppt-v1m1-1-sc-st-spunet-submit
# ScanNet + S3DIS + Structured3d, validate on S3DIS (>= a100 * 8)
sh scripts/train.sh -g 8 -d s3dis -c semseg-ppt-v1m1-0-s3-sc-st-spunet -n semseg-ppt-v1m1-0-s3-sc-st-spunet
# SemanticKITTI + nuScenes + Waymo, validate on SemanticKITTI (bs12 >= 3090 * 4 >= 3090 * 8, v1m1-0 is still on tuning)
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-ppt-v1m1-0-nu-sk-wa-spunet -n semseg-ppt-v1m1-0-nu-sk-wa-spunet
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-ppt-v1m2-0-sk-nu-wa-spunet -n semseg-ppt-v1m2-0-sk-nu-wa-spunet
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-ppt-v1m2-1-sk-nu-wa-spunet-submit -n semseg-ppt-v1m2-1-sk-nu-wa-spunet-submit
# SemanticKITTI + nuScenes + Waymo, validate on nuScenes (bs12 >= 3090 * 4; bs24 >= 3090 * 8, v1m1-0 is still on tuning))
sh scripts/train.sh -g 4 -d nuscenes -c semseg-ppt-v1m1-0-nu-sk-wa-spunet -n semseg-ppt-v1m1-0-nu-sk-wa-spunet
sh scripts/train.sh -g 4 -d nuscenes -c semseg-ppt-v1m2-0-nu-sk-wa-spunet -n semseg-ppt-v1m2-0-nu-sk-wa-spunet
sh scripts/train.sh -g 4 -d nuscenes -c semseg-ppt-v1m2-1-nu-sk-wa-spunet-submit -n semseg-ppt-v1m2-1-nu-sk-wa-spunet-submit

ポイントコントラスト

プリプロセスおよびリンクscannet-pairデータセット（scannet raw rgb-dフレームとのペアワイズマッチング、〜1.5t）：

 # RAW_SCANNET_DIR: the directory of downloaded ScanNet v2 raw dataset.
# PROCESSED_SCANNET_PAIR_DIR: the directory of processed ScanNet pair dataset (output dir).
python pointcept/datasets/preprocessing/scannet/scannet_pair/preprocess.py --dataset_root ${RAW_SCANNET_DIR} --output_root ${PROCESSED_SCANNET_PAIR_DIR}
ln -s ${PROCESSED_SCANNET_PAIR_DIR} ${CODEBASE_DIR} /data/scannet

次の例のスクリプトを使用してトレーニングを事前にトレーニングします。

 # ScanNet
sh scripts/train.sh -g 8 -d scannet -c pretrain-msc-v1m1-1-spunet-pointcontrast -n pretrain-msc-v1m1-1-spunet-pointcontrast

微調整はMSCを参照してください。

対照的なシーンのコンテキスト

プリプロセスおよびリンクscannet-pairデータセット（参照pointcontrast）：
次の例のスクリプトを使用してトレーニングを事前にトレーニングします。

 # ScanNet
sh scripts/train.sh -g 8 -d scannet -c pretrain-msc-v1m2-0-spunet-csc -n pretrain-msc-v1m2-0-spunet-csc

微調整はMSCを参照してください。

了承

Pointceptは、Yixingによって命名されたXiaoyangによって設計されており、ロゴはユエチェンによって作成されます。 HengshuangのSemsegに由来し、Minkowskiengine、Pointnet2、MMCV、およびDetectron2など、いくつかのレポで霊感を受けています。

拡大する