Beranda>Terkait pemrograman>ular piton
Unduh


Pointcept adalah basis kode yang kuat dan fleksibel untuk penelitian point cloud persepsi. Ini juga merupakan implementasi resmi dari makalah berikut:

  • Point Transformer V3: Lebih sederhana, lebih cepat, lebih kuat
    Xiaoyang Wu, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, Hengshuang Zhao
    Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola ( CVPR ) 2024 - Lisan
    [Backbone] [ptv3] - [arxiv] [bib] [proyek] → di sini

  • OA-CNNS: Omni-adaptive jarang CNNs untuk segmentasi semantik 3D
    Bohao Peng, Xiaoyang Wu, Li Jiang, Yukang Chen, Hengshuang Zhao, Zhuotao Tian, Jiaya Jia
    Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola ( CVPR ) 2024
    [Backbone] [OA -CNNS] - [arxiv] [bib] → di sini

  • Menuju pembelajaran representasi 3D skala besar dengan pelatihan cepat multi-dataset point
    Xiaoyang Wu, Zhuotao Tian, Xin Wen, Bohao Peng, Xihui Liu, Kaicheng Yu, Hengshuang Zhao
    Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola ( CVPR ) 2024
    [Pretrain] [ppt] - [arxiv] [bib] → di sini

  • Kontras adegan bertopeng: Kerangka kerja yang dapat diskalakan untuk pembelajaran representasi 3D tanpa pengawasan
    Xiaoyang Wu, Xin Wen, Xihui Liu, Hengshuang Zhao
    Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola ( CVPR ) 2023
    [Pretrain] [msc] - [arxiv] [bib] → di sini

  • Klasifikasi Konteks Pembelajaran Aware untuk Segmentasi Semantik (Bagian 3D)
    Zhuotao Tian, Jiequan Cui, Li Jiang, XiaoJuan Qi, Xin Lai, Yixin Chen, Shu Liu, Jiaya Jia
    Konferensi Aaai tentang Kecerdasan Buatan ( AAAI ) 2023 - Lisan
    [Semseg] [CAC] - [arxiv] [bib] [bagian 2d] → di sini

  • Point Transformer V2: Pengelolaan Vektor yang dikelompokkan dan pengumpulan berbasis partisi
    Xiaoyang Wu, Yixing Lao, Li Jiang, Xihui Liu, Hengshuang Zhao
    Konferensi tentang Sistem Pemrosesan Informasi Saraf ( Neurips ) 2022
    [Backbone] [ptv2] - [arxiv] [bib] → di sini

  • Titik transformator
    Hengshuang Zhao, Li Jiang, Jiaya Jia, Philip Torr, Vladlen Koltun
    Konferensi Internasional IEEE tentang Visi Komputer ( ICCV ) 2021 - Lisan
    [Backbone] [ptv1] - [arxiv] [bib] → di sini

Selain itu, Pointcept mengintegrasikan pekerjaan yang sangat baik berikut (berisi di atas):
Backbone: minkunet (di sini), Spunet (di sini), spvcnn (di sini), oacnns (di sini), ptv1 (di sini), ptv2 (di sini), ptv3 (di sini), penyangga (di sini), octformer (di sini), swin3d (di sini);
Segmentasi Semantik: Mix3d (di sini), CAC (di sini);
Segmentasi instan: pointgroup (di sini);
Pra-pelatihan: PointContrast (di sini), konteks adegan kontras (di sini), kontras adegan bertopeng (di sini), pelatihan poin cepat (di sini);
Dataset: scannet (di sini), scannet200 (di sini), scannet ++ (di sini), s3dis (di sini), matterport3d (di sini), arkitscene, terstruktur3d (di sini), semantickitti (di sini), nuscene (di sini), modelnet40 (di sini), waymo (di sini).

Highlight

  • Mei, 2024 : Dalam v1.5.2, kami mendesain ulang struktur default untuk setiap dataset untuk kinerja yang lebih baik. Harap persiapkan kembali set data atau unduh set data preproses kami dari sini .
  • Apr, 2024 : PTV3 dipilih sebagai salah satu dari 90 makalah oral (3,3% makalah yang diterima, 0,78% pengiriman) oleh CVPR'24!
  • Mar, 2024 : Kami merilis kode untuk OA-CNNS , diterima oleh CVPR'24. Masalah yang terkait dengan OA-CNNS can @pbihao.
  • Feb, 2024 : PTV3 dan PPT diterima oleh CVPR'24, dua makalah lain oleh tim pointcept kami juga telah diterima oleh CVPR'24 ???. Kami akan segera membuatnya tersedia untuk umum!
  • Des, 2023 : PTV3 dirilis pada ARXIV, dan kode tersedia di Pointcept. PTV3 adalah model backbone yang efisien yang mencapai kinerja SOTA di seluruh skenario indoor dan outdoor.
  • Agustus, 2023 : PPT dirilis pada Arxiv. PPT menyajikan kerangka kerja pra-pelatihan multi-data yang mencapai kinerja SOTA dalam skenario indoor dan outdoor . Ini kompatibel dengan berbagai kerangka kerja pra-pelatihan dan tulang punggung. Versi pra-rilis kode dapat diakses; Bagi mereka yang tertarik, jangan ragu untuk menghubungi saya secara langsung untuk akses.
  • Mar, 2023 : Kami merilis basis kode kami, pointcept , alat yang sangat kuat untuk pembelajaran dan persepsi representasi cloud point. Kami menyambut pekerjaan baru untuk bergabung dengan keluarga Pointcept dan sangat merekomendasikan membaca Quick Start sebelum memulai jejak Anda.
  • FEB, 2023 : MSC dan CECO yang diterima oleh CVPR 2023. MSC adalah kerangka kerja pretraining yang sangat efisien dan efektif yang memfasilitasi pretraining skala besar silang, sementara CECO adalah metode segmentasi yang dirancang khusus untuk set data ekor panjang. Kedua pendekatan tersebut kompatibel dengan semua model backbone yang ada di basis kode kami, dan kami akan segera membuat kode tersedia untuk penggunaan publik.
  • Jan, 2023 : CAC , Pekerjaan Lisan AAAI 2023, telah memperluas hasil 3D -nya dengan penggabungan pointcept. Penambahan ini akan memungkinkan CAC berfungsi sebagai segmentor pluggable dalam basis kode kami.
  • Sep, 2022 : PTV2 diterima oleh Neurips 2022. Ini adalah kelanjutan dari transformator titik. Teori GVA yang diusulkan dapat diterapkan pada sebagian besar mekanisme perhatian yang ada, sedangkan kumpulan kisi juga merupakan tambahan praktis untuk metode pengumpulan yang ada.

Kutipan

Jika Anda menemukan Pointcept yang berguna untuk penelitian Anda, silakan kutip pekerjaan kami sebagai dorongan. (੭ˊ꒳ˋ) ੭✧ 

 @misc{pointcept2023,
    title={Pointcept: A Codebase for Point Cloud Perception Research},
    author={Pointcept Contributors},
    howpublished = {url{https://github.com/Pointcept/Pointcept}},
    year={2023}
}

Ringkasan

  • Instalasi
  • Persiapan data
  • Awal yang cepat
  • Model Zoo
  • Kutipan
  • Pengakuan

Instalasi

Persyaratan

  • Ubuntu: 18.04 dan di atas.
  • CUDA: 11.3 ke atas.
  • Pytorch: 1.10.0 dan di atas.

Lingkungan conda 

conda create -n pointcept python=3.8 -y
conda activate pointcept
conda install ninja -y
# Choose version you want here: https://pytorch.org/get-started/previous-versions/
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch -y
conda install h5py pyyaml -c anaconda -y
conda install sharedarray tensorboard tensorboardx yapf addict einops scipy plyfile termcolor timm -c conda-forge -y
conda install pytorch-cluster pytorch-scatter pytorch-sparse -c pyg -y
pip install torch-geometric

# spconv (SparseUNet)
# refer https://github.com/traveller59/spconv
pip install spconv-cu113

# PPT (clip)
pip install ftfy regex tqdm
pip install git+https://github.com/openai/CLIP.git

# PTv1 & PTv2 or precise eval
cd libs/pointops
# usual
python setup.py install
# docker & multi GPU arch
TORCH_CUDA_ARCH_LIST= " ARCH LIST " python  setup.py install
# e.g. 7.5: RTX 3000; 8.0: a100 More available in: https://developer.nvidia.com/cuda-gpus
TORCH_CUDA_ARCH_LIST= " 7.5 8.0 " python  setup.py install
cd ../..

# Open3D (visualization, optional)
pip install open3d

Persiapan data

Scannet v2

Preprocessing mendukung segmentasi semantik dan instan untuk ScanNet20 , ScanNet200 , dan ScanNet Data Efficient .

  • Unduh Dataset Scannet V2.

  • Jalankan kode preprocessing untuk pemindaian mentah sebagai berikut: 

     # RAW_SCANNET_DIR: the directory of downloaded ScanNet v2 raw dataset.
# PROCESSED_SCANNET_DIR: the directory of the processed ScanNet dataset (output dir).
python pointcept/datasets/preprocessing/scannet/preprocess_scannet.py --dataset_root ${RAW_SCANNET_DIR} --output_root ${PROCESSED_SCANNET_DIR}

  • (Opsional) Unduh Scannet Data Efisien File: 

     # download-scannet.py is the official download script
# or follow instructions here: https://kaldir.vc.in.tum.de/scannet_benchmark/data_efficient/documentation#download
python download-scannet.py --data_efficient -o ${RAW_SCANNET_DIR}
# unzip downloads
cd ${RAW_SCANNET_DIR} /tasks
unzip limited-annotation-points.zip
unzip limited-reconstruction-scenes.zip
# copy files to processed dataset folder
mkdir ${PROCESSED_SCANNET_DIR} /tasks
cp -r ${RAW_SCANNET_DIR} /tasks/points ${PROCESSED_SCANNET_DIR} /tasks
cp -r ${RAW_SCANNET_DIR} /tasks/scenes ${PROCESSED_SCANNET_DIR} /tasks

  • (Alternatif) Data preprocess kami dapat langsung diunduh [di sini], tolong setujui lisensi resmi sebelum mengunduhnya.

  • Dataset Tautan yang Diproses ke CodeBase: 

     # PROCESSED_SCANNET_DIR: the directory of the processed ScanNet dataset.
mkdir data
ln -s ${PROCESSED_SCANNET_DIR} ${CODEBASE_DIR} /data/scannet

Scannet ++

  • Unduh Dataset Scannet ++.
  • Jalankan kode preprocessing untuk scannet mentah ++ sebagai berikut: 
     # RAW_SCANNETPP_DIR: the directory of downloaded ScanNet++ raw dataset.
# PROCESSED_SCANNETPP_DIR: the directory of the processed ScanNet++ dataset (output dir).
# NUM_WORKERS: the number of workers for parallel preprocessing.
python pointcept/datasets/preprocessing/scannetpp/preprocess_scannetpp.py --dataset_root ${RAW_SCANNETPP_DIR} --output_root ${PROCESSED_SCANNETPP_DIR} --num_workers ${NUM_WORKERS}
  • Pengambilan sampel dan chunking data cloud titik besar di train/val split sebagai berikut (hanya digunakan untuk pelatihan): 
     # PROCESSED_SCANNETPP_DIR: the directory of the processed ScanNet++ dataset (output dir).
# NUM_WORKERS: the number of workers for parallel preprocessing.
python pointcept/datasets/preprocessing/sampling_chunking_data.py --dataset_root ${PROCESSED_SCANNETPP_DIR} --grid_size 0.01 --chunk_range 6 6 --chunk_stride 3 3 --split train --num_workers ${NUM_WORKERS}
python pointcept/datasets/preprocessing/sampling_chunking_data.py --dataset_root ${PROCESSED_SCANNETPP_DIR} --grid_size 0.01 --chunk_range 6 6 --chunk_stride 3 3 --split val --num_workers ${NUM_WORKERS}
  • (Alternatif) Data preprocess kami dapat langsung diunduh [di sini], tolong setujui lisensi resmi sebelum mengunduhnya.
  • Dataset Tautan yang Diproses ke CodeBase: 
     # PROCESSED_SCANNETPP_DIR: the directory of the processed ScanNet dataset.
mkdir data
ln -s ${PROCESSED_SCANNETPP_DIR} ${CODEBASE_DIR} /data/scannetpp

S3dis

  • Unduh data S3DIS dengan mengisi formulir Google ini. Unduh file Stanford3dDataset_v1.2.zip dan unzip.

  • Perbaiki kesalahan di Area_5/office_19/Annotations/ceiling 323474 (103.0�0000 => 103.000000).

  • (Opsional) Unduh dataset lengkap 2D-3D S3DIS (no xyz) dari sini untuk parsing normal.

  • Jalankan kode preprocessing untuk S3DIS sebagai berikut: 

     # S3DIS_DIR: the directory of downloaded Stanford3dDataset_v1.2 dataset.
# RAW_S3DIS_DIR: the directory of Stanford2d3dDataset_noXYZ dataset. (optional, for parsing normal)
# PROCESSED_S3DIS_DIR: the directory of processed S3DIS dataset (output dir).

# S3DIS without aligned angle
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR}
# S3DIS with aligned angle
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR} --align_angle
# S3DIS with normal vector (recommended, normal is helpful)
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR} --raw_root ${RAW_S3DIS_DIR} --parse_normal
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR} --raw_root ${RAW_S3DIS_DIR} --align_angle --parse_normal

  • (Alternatif) Data preprocess kami juga dapat diunduh [di sini] (dengan vektor normal dan sudut selaras), mohon setuju dengan lisensi resmi sebelum mengunduhnya.

  • Dataset Tautan yang Diproses ke CodeBase. 

     # PROCESSED_S3DIS_DIR: the directory of processed S3DIS dataset.
mkdir data
ln -s ${PROCESSED_S3DIS_DIR} ${CODEBASE_DIR} /data/s3dis

Terstruktur3d

  • Unduh Panorama Struktur Panorama Terkait dan Perspektif (Lengkap) File ZIP Terkait dengan Mengisi Formulir Google ini (tidak perlu membuka ritsletingnya).
  • Atur semua file zip yang diunduh dalam satu folder ( ${STRUCT3D_DIR} ).
  • Jalankan kode preprocessing untuk terstruktur3d sebagai berikut: 
     # STRUCT3D_DIR: the directory of downloaded Structured3D dataset.
# PROCESSED_STRUCT3D_DIR: the directory of processed Structured3D dataset (output dir).
# NUM_WORKERS: Number for workers for preprocessing, default same as cpu count (might OOM).
export PYTHONPATH=./
python pointcept/datasets/preprocessing/structured3d/preprocess_structured3d.py --dataset_root ${STRUCT3D_DIR} --output_root ${PROCESSED_STRUCT3D_DIR} --num_workers ${NUM_WORKERS} --grid_size 0.01 --fuse_prsp --fuse_pano

Mengikuti instruksi SWIN3D, kami menyimpan 25 kategori dengan frekuensi lebih dari 0,001, dari 40 kategori asli.

  • (Alternatif) Data preprocess kami juga dapat diunduh [di sini] (dengan pandangan perspektif dan tampilan panorama, 471.7g setelah unzip), tolong setujui lisensi resmi sebelum mengunduhnya.

  • Dataset Tautan yang Diproses ke CodeBase. 

     # PROCESSED_STRUCT3D_DIR: the directory of processed Structured3D dataset (output dir).
mkdir data
ln -s ${PROCESSED_STRUCT3D_DIR} ${CODEBASE_DIR} /data/structured3d

Matterport3d

  • Ikuti halaman ini untuk meminta akses ke dataset.
  • Unduh tipe "regional_smegment", yang mewakili pembagian adegan ke kamar individual. 
     # download-mp.py is the official download script
# MATTERPORT3D_DIR: the directory of downloaded Matterport3D dataset.
python download-mp.py -o {MATTERPORT3D_DIR} --type region_segmentations
  • Unzip data regional_segmentations 
     # MATTERPORT3D_DIR: the directory of downloaded Matterport3D dataset.
python pointcept/datasets/preprocessing/matterport3d/unzip_matterport3d_region_segmentation.py --dataset_root {MATTERPORT3D_DIR}
  • Jalankan kode preprocessing untuk Matterport3D sebagai berikut: 
     # MATTERPORT3D_DIR: the directory of downloaded Matterport3D dataset.
# PROCESSED_MATTERPORT3D_DIR: the directory of processed Matterport3D dataset (output dir).
# NUM_WORKERS: the number of workers for this preprocessing.
python pointcept/datasets/preprocessing/matterport3d/preprocess_matterport3d_mesh.py --dataset_root ${MATTERPORT3D_DIR} --output_root ${PROCESSED_MATTERPORT3D_DIR} --num_workers ${NUM_WORKERS}
  • Dataset Tautan yang Diproses ke CodeBase. 
     # PROCESSED_MATTERPORT3D_DIR: the directory of processed Matterport3D dataset (output dir).
mkdir data
ln -s ${PROCESSED_MATTERPORT3D_DIR} ${CODEBASE_DIR} /data/matterport3d

Mengikuti instruksi ruang terbuka, kami membuat ulang kategori Matterport3D untuk memindai 20 kategori semantik dengan penambahan kategori langit -langit.

  • (Alternatif) Data preprocess kami juga dapat diunduh di sini, tolong setujui lisensi resmi sebelum mengunduhnya.

Semantickitti

  • Unduh Dataset Semantickitti.
  • Dataset Tautan ke CodeBase. 
     # SEMANTIC_KITTI_DIR: the directory of SemanticKITTI dataset.
# |- SEMANTIC_KITTI_DIR
#   |- dataset
#     |- sequences
#       |- 00
#       |- 01
#       |- ...

mkdir -p data
ln -s ${SEMANTIC_KITTI_DIR} ${CODEBASE_DIR} /data/semantic_kitti

Nuscenes

  • Unduh Dataset Nuscene Resmi (dengan segmentasi Lidar) dan atur file yang diunduh sebagai berikut: 

    NUSCENES_DIR
│── samples
│── sweeps
│── lidarseg
...
│── v1.0-trainval 
│── v1.0-test

  • Jalankan Kode Preprocessing Informasi (dimodifikasi dari OpenPCDET) untuk nuscenes sebagai berikut: 

     # NUSCENES_DIR: the directory of downloaded nuScenes dataset.
# PROCESSED_NUSCENES_DIR: the directory of processed nuScenes dataset (output dir).
# MAX_SWEEPS: Max number of sweeps. Default: 10.
pip install nuscenes-devkit pyquaternion
python pointcept/datasets/preprocessing/nuscenes/preprocess_nuscenes_info.py --dataset_root ${NUSCENES_DIR} --output_root ${PROCESSED_NUSCENES_DIR} --max_sweeps ${MAX_SWEEPS} --with_camera

  • (Alternatif) Data informasi preprocess nuscenes kami juga dapat diunduh [di sini] (hanya informasi yang diproses, masih perlu mengunduh dataset mentah dan tautan ke folder), setujui lisensi resmi sebelum mengunduhnya.

  • Link Dataset Raw ke folder Dataset Nuscene yang diproses: 

     # NUSCENES_DIR: the directory of downloaded nuScenes dataset.
# PROCESSED_NUSCENES_DIR: the directory of processed nuScenes dataset (output dir).
ln -s ${NUSCENES_DIR} {PROCESSED_NUSCENES_DIR}/raw

    Kemudian folder nuscenes yang diproses diatur sebagai berikut: 

    nuscene
| ── raw
    │── samples
    │── sweeps
    │── lidarseg
    ...
    │── v1.0-trainval
    │── v1.0-test
| ── info

  • Dataset Tautan yang Diproses ke CodeBase. 

     # PROCESSED_NUSCENES_DIR: the directory of processed nuScenes dataset (output dir).
mkdir data
ln -s ${PROCESSED_NUSCENES_DIR} ${CODEBASE_DIR} /data/nuscenes

Waymo

  • Unduh Dataset Waymo Resmi (v1.4.3) dan atur file yang diunduh sebagai berikut: 

    WAYMO_RAW_DIR
│── training
│── validation
│── testing

  • Instal ketergantungan berikut: 

     # If shows "No matching distribution found", download whl directly from Pypi and install the package.
conda create -n waymo python=3.10 -y
conda activate waymo
pip install waymo-open-dataset-tf-2-12-0

  • Jalankan kode preprocessing sebagai berikut: 

     # WAYMO_DIR: the directory of the downloaded Waymo dataset.
# PROCESSED_WAYMO_DIR: the directory of the processed Waymo dataset (output dir).
# NUM_WORKERS: num workers for preprocessing
python pointcept/datasets/preprocessing/waymo/preprocess_waymo.py --dataset_root ${WAYMO_DIR} --output_root ${PROCESSED_WAYMO_DIR} --splits training validation --num_workers ${NUM_WORKERS}

  • Dataset yang diproses tautan ke basis kode. 

     # PROCESSED_WAYMO_DIR: the directory of the processed Waymo dataset (output dir).
mkdir data
ln -s ${PROCESSED_WAYMO_DIR} ${CODEBASE_DIR} /data/waymo

Modelnet

  • Unduh modelNet40_normal_resampled.zip dan unzip
  • Dataset Tautan ke CodeBase. 
    mkdir -p data
ln -s ${MODELNET_DIR} ${CODEBASE_DIR} /data/modelnet40_normal_resampled

Awal yang cepat

Pelatihan

Berlatih dari awal. Pemrosesan pelatihan didasarkan pada folder konfigurasi di configs . Script pelatihan akan menghasilkan folder percobaan di folder exp dan kode esensial cadangan di folder percobaan. Konfigurasi pelatihan, log, tensorboard, dan pos pemeriksaan juga akan disimpan ke folder percobaan selama proses pelatihan. 

 export CUDA_VISIBLE_DEVICES= ${CUDA_VISIBLE_DEVICES}
# Script (Recommended)
sh scripts/train.sh -p ${INTERPRETER_PATH} -g ${NUM_GPU} -d ${DATASET_NAME} -c ${CONFIG_NAME} -n ${EXP_NAME}
# Direct
export PYTHONPATH=./
python tools/train.py --config-file ${CONFIG_PATH} --num-gpus ${NUM_GPU} --options save_path= ${SAVE_PATH}

Misalnya: 

 # By script (Recommended)
# -p is default set as python and can be ignored
sh scripts/train.sh -p python -d scannet -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# Direct
export PYTHONPATH=./
python tools/train.py --config-file configs/scannet/semseg-pt-v2m2-0-base.py --options save_path=exp/scannet/semseg-pt-v2m2-0-base

Lanjutkan pelatihan dari pos pemeriksaan. Jika proses pelatihan terganggu oleh kecelakaan, skrip berikut dapat melanjutkan pelatihan dari pos pemeriksaan yang diberikan. 

 export CUDA_VISIBLE_DEVICES= ${CUDA_VISIBLE_DEVICES}
# Script (Recommended)
# simply add "-r true"
sh scripts/train.sh -p ${INTERPRETER_PATH} -g ${NUM_GPU} -d ${DATASET_NAME} -c ${CONFIG_NAME} -n ${EXP_NAME} -r true
# Direct
export PYTHONPATH=./
python tools/train.py --config-file ${CONFIG_PATH} --num-gpus ${NUM_GPU} --options save_path= ${SAVE_PATH} resume=True weight= ${CHECKPOINT_PATH}

Pengujian

Selama pelatihan, evaluasi model dilakukan pada awan titik setelah pengambilan sampel grid (voxelisasi), memberikan penilaian awal kinerja model. Namun, untuk mendapatkan hasil evaluasi yang tepat, pengujian sangat penting . Proses pengujian melibatkan subsampling awan titik padat menjadi urutan awan titik yang di -voxelisasi, memastikan cakupan komprehensif dari semua poin. Sub-hasil ini kemudian diprediksi dan dikumpulkan untuk membentuk prediksi lengkap dari seluruh titik awan. Pendekatan ini menghasilkan hasil evaluasi yang lebih tinggi dibandingkan dengan memetakan/interpolasi prediksi. Selain itu, kode pengujian kami mendukung pengujian TTA (augmentasi waktu tes), yang selanjutnya meningkatkan stabilitas kinerja evaluasi. 

 # By script (Based on experiment folder created by training script)
sh scripts/test.sh -p ${INTERPRETER_PATH} -g ${NUM_GPU} -d ${DATASET_NAME} -n ${EXP_NAME} -w ${CHECKPOINT_NAME}
# Direct
export PYTHONPATH=./
python tools/test.py --config-file ${CONFIG_PATH} --num-gpus ${NUM_GPU} --options save_path= ${SAVE_PATH} weight= ${CHECKPOINT_PATH}

Misalnya: 

 # By script (Based on experiment folder created by training script)
# -p is default set as python and can be ignored
# -w is default set as model_best and can be ignored
sh scripts/test.sh -p python -d scannet -n semseg-pt-v2m2-0-base -w model_best
# Direct
export PYTHONPATH=./
python tools/test.py --config-file configs/scannet/semseg-pt-v2m2-0-base.py --options save_path=exp/scannet/semseg-pt-v2m2-0-base weight=exp/scannet/semseg-pt-v2m2-0-base/model/model_best.pth

TTA dapat dinonaktifkan dengan mengganti data.test.test_cfg.aug_transform = [...] dengan: 

 data = dict (
    train = dict (...),
    val = dict (...),
    test = dict (
        ...,
        test_cfg = dict (
            ...,
            aug_transform = [
                [ dict ( type = "RandomRotateTargetAngle" , angle = [ 0 ], axis = "z" , center = [ 0 , 0 , 0 ], p = 1 )]
            ]
        )
    )
)

Mengimbangi

Offset adalah pemisah awan titik dalam data batch, dan mirip dengan konsep Batch di PYG. Ilustrasi visual batch dan offset adalah sebagai berikut:


Model Zoo

1. Tulang punggung dan segmentasi semantik

Sparseunet

Pointcept menyediakan SparseUNet yang diimplementasikan oleh SpConv dan MinkowskiEngine . Versi SPCONV direkomendasikan karena SPCONV mudah dipasang dan lebih cepat dari MinkowskiEngine. Sementara itu, SPCONV juga banyak diterapkan dalam persepsi luar ruangan.

  • SPCONV (Rekomendasikan)

Versi SPCONV SparseUNet di CodeBase sepenuhnya ditulis ulang dari MinkowskiEngine Version, contoh skrip menjalankan adalah sebagai berikut: 

 # ScanNet val
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# S3DIS (with normal)
sh scripts/train.sh -g 4 -d s3dis -c semseg-spunet-v1m1-0-cn-base -n semseg-spunet-v1m1-0-cn-base
# SemanticKITTI
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# nuScenes
sh scripts/train.sh -g 4 -d nuscenes -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# ModelNet40
sh scripts/train.sh -g 2 -d modelnet40 -c cls-spunet-v1m1-0-base -n cls-spunet-v1m1-0-base

# ScanNet Data Efficient
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la20 -n semseg-spunet-v1m1-2-efficient-la20
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la50 -n semseg-spunet-v1m1-2-efficient-la50
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la100 -n semseg-spunet-v1m1-2-efficient-la100
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la200 -n semseg-spunet-v1m1-2-efficient-la200
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr1 -n semseg-spunet-v1m1-2-efficient-lr1
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr5 -n semseg-spunet-v1m1-2-efficient-lr5
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr10 -n semseg-spunet-v1m1-2-efficient-lr10
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr20 -n semseg-spunet-v1m1-2-efficient-lr20

# Profile model run time
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-0-enable-profiler -n semseg-spunet-v1m1-0-enable-profiler
  • Minkowskiengine

Versi MinkowskiEngine SparseUNet di basis kode dimodifikasi dari repo MinkowskiEngine asli, dan contoh skrip yang menjalankan adalah sebagai berikut:

  1. Instal MinkowskiEngine, rujuk https://github.com/nvidia/minkowskiengine
  2. Pelatihan dengan contoh skrip berikut: 
 # Uncomment "# from .sparse_unet import *" in "pointcept/models/__init__.py"
# Uncomment "# from .mink_unet import *" in "pointcept/models/sparse_unet/__init__.py"
# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base
# SemanticKITTI
sh scripts/train.sh -g 2 -d semantic_kitti -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base

OA-CNNS

Memperkenalkan CNN 3D omni-adaptif ( OA-CNNs ), keluarga jaringan yang mengintegrasikan modul ringan untuk sangat meningkatkan adaptivitas CNNs yang jarang dengan biaya komputasi minimal. Tanpa modul perhatian diri, OA-CNNs menguntungkan transformator titik yang lebih baik dalam hal akurasi dalam adegan indoor dan outdoor, dengan lebih sedikit latensi dan biaya memori. Masalah yang terkait dengan OA-CNNS can @pbihao. 

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-oacnns-v1m1-0-base -n semseg-oacnns-v1m1-0-base

Transformer titik

  • Ptv3

PTV3 adalah model backbone yang efisien yang mencapai kinerja SOTA di seluruh skenario indoor dan outdoor. PTV3 lengkap bergantung pada flashattention, sementara flashattention bergantung pada CUDA 11.6 ke atas, pastikan lingkungan pointcept lokal Anda memenuhi persyaratan.

Jika Anda tidak dapat meningkatkan lingkungan lokal Anda untuk memenuhi persyaratan (CUDA> = 11.6), maka Anda dapat menonaktifkan flashattention dengan mengatur parameter model enable_flash menjadi false dan mengurangi enc_patch_size dan dec_patch_size ke level (mis. 128).

Kekuatan flashattention menonaktifkan RPE dan memaksa akurasi dikurangi menjadi FP16. Jika Anda memerlukan fitur -fitur ini, silakan nonaktifkan enable_flash dan menyesuaikan enable_rpe , upcast_attention dan upcast_softmax .

Instruksi terperinci dan catatan percobaan (berisi bobot) tersedia di repositori proyek. Contoh skrip menjalankan adalah sebagai berikut: 

 # Scratched ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# PPT joint training (ScanNet + Structured3D) and evaluate in ScanNet
sh scripts/train.sh -g 8 -d scannet -c semseg-pt-v3m1-1-ppt-extreme -n semseg-pt-v3m1-1-ppt-extreme

# Scratched ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# Fine-tuning from  PPT joint training (ScanNet + Structured3D) with ScanNet200
# PTV3_PPT_WEIGHT_PATH: Path to model weight trained by PPT multi-dataset joint training
# e.g. exp/scannet/semseg-pt-v3m1-1-ppt-extreme/model/model_best.pth
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v3m1-1-ppt-ft -n semseg-pt-v3m1-1-ppt-ft -w ${PTV3_PPT_WEIGHT_PATH}

# Scratched ScanNet++
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# Scratched ScanNet++ test
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v3m1-1-submit -n semseg-pt-v3m1-1-submit


# Scratched S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# an example for disbale flash_attention and enable rpe.
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v3m1-1-rpe -n semseg-pt-v3m1-0-rpe
# PPT joint training (ScanNet + S3DIS + Structured3D) and evaluate in ScanNet
sh scripts/train.sh -g 8 -d s3dis -c semseg-pt-v3m1-1-ppt-extreme -n semseg-pt-v3m1-1-ppt-extreme
# S3DIS 6-fold cross validation
# 1. The default configs are evaluated on Area_5, modify the "data.train.split", "data.val.split", and "data.test.split" to make the config evaluated on Area_1 ~ Area_6 respectively.
# 2. Train and evaluate the model on each split of areas and gather result files located in "exp/s3dis/EXP_NAME/result/Area_x.pth" in one single folder, noted as RECORD_FOLDER.
# 3. Run the following script to get S3DIS 6-fold cross validation performance:
export PYTHONPATH=./
python tools/test_s3dis_6fold.py --record_root ${RECORD_FOLDER}

# Scratched nuScenes
sh scripts/train.sh -g 4 -d nuscenes -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# Scratched Waymo
sh scripts/train.sh -g 4 -d waymo -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base

# More configs and exp records for PTv3 will be available soon.

Segmentasi semantik dalam ruangan

Model Benchmark Data tambahan Num gpus Val Miou Konfigurasi Tensorboard Rekor EXP
Ptv3 Scannet ✗ 4 77,6% link link link
Ptv3 + ppt Scannet ✓ 8 78,5% link link link
Ptv3 Scannet200 ✗ 4 35,3% link link link
Ptv3 + ppt Scannet200 ✓ (ft) 4
Ptv3 S3DIS (Area5) ✗ 4 73,6% link link link
Ptv3 + ppt S3DIS (Area5) ✓ 8 75,4% link link link

Segmentasi semantik luar ruangan

Model Benchmark Data tambahan Num gpus Val Miou Konfigurasi Tensorboard Rekor EXP
Ptv3 Nuscenes ✗ 4 80.3 link link link
Ptv3 + ppt Nuscenes ✓ 8
Ptv3 Semantickitti ✗ 4
Ptv3 + ppt Semantickitti ✓ 8
Ptv3 Waymo ✗ 4 71.2 link link tautan (hanya log)
Ptv3 + ppt Waymo ✓ 8

*Bobot model yang dilepaskan dilatih untuk v1.5.1, bobot untuk v1.5.2 dan kemudian masih berlangsung.

  • PTV2 MODE2

PTV2 asli dilatih pada 4 * RTX A6000 (memori 48G). Bahkan memungkinkan AMP, biaya memori dari PTV2 asli sedikit lebih besar dari 24g. Mempertimbangkan GPU dengan memori 24G jauh lebih mudah diakses, saya menyetel PTV2 pada pointcept terbaru dan membuatnya dapat dijalankan pada mesin 4 * RTX 3090.

PTv2 Mode2 memungkinkan AMP dan menonaktifkan pengkodean posisi pengkodean & dikelompokkan linear . Selama penelitian lebih lanjut, kami menemukan bahwa koordinat yang tepat tidak diperlukan untuk pemahaman poin cloud (mengganti koordinat yang tepat dengan koordinat kisi tidak mempengaruhi kinerja. Juga, Sparseunet adalah contoh). Sedangkan untuk linear yang dikelompokkan, implementasi linier yang dikelompokkan tampaknya menghabiskan lebih banyak memori daripada lapisan linier yang disediakan oleh Pytorch. Manfaat dari basis kode dan penyetelan parameter yang lebih baik, kami juga meringankan masalah overfitting. Kinerja reproduksi bahkan lebih baik daripada hasil yang dilaporkan dalam makalah kami.

Contoh skrip menjalankan adalah sebagai berikut: 

 # ptv2m2: PTv2 mode2, disable PEM & Grouped Linear, GPU memory cost < 24G (recommend)
# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m2-3-lovasz -n semseg-pt-v2m2-3-lovasz

# ScanNet test
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m2-1-submit -n semseg-pt-v2m2-1-submit
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# ScanNet++
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# ScanNet++ test
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v2m2-1-submit -n semseg-pt-v2m2-1-submit
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# SemanticKITTI
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# nuScenes
sh scripts/train.sh -g 4 -d nuscenes -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
  • PTV2 MODE1

PTv2 mode1 adalah PTV2 asli yang kami laporkan dalam makalah kami, contoh skrip menjalankan adalah sebagai berikut: 

 # ptv2m1: PTv2 mode1, Original PTv2, GPU memory cost > 24G
# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m1-0-base -n semseg-pt-v2m1-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v2m1-0-base -n semseg-pt-v2m1-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v2m1-0-base -n semseg-pt-v2m1-0-base
  • PTV1

PTV1 asli juga tersedia di basis kode pointcept kami. Saya belum menjalankan PTV1 untuk waktu yang lama, tetapi saya telah memastikan bahwa contoh skrip yang berjalan berfungsi dengan baik. 

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v1-0-base -n semseg-pt-v1-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v1-0-base -n semseg-pt-v1-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v1-0-base -n semseg-pt-v1-0-base

Transformator bertingkat

  1. Persyaratan Tambahan: 
pip install torch-points3d
# Fix dependence, caused by installing torch-points3d 
pip uninstall SharedArray
pip install SharedArray==3.2.1

cd libs/pointops2
python setup.py install
cd ../..
  1. Uncomment # from .stratified_transformer import * di pointcept/models/__init__.py .
  2. Rujuk instalasi opsional untuk menginstal ketergantungan.
  3. Pelatihan dengan contoh skrip berikut: 
 # stv1m1: Stratified Transformer mode1, Modified from the original Stratified Transformer code.
# PTv2m2: Stratified Transformer mode2, My rewrite version (recommend).

# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-st-v1m2-0-refined -n semseg-st-v1m2-0-refined
sh scripts/train.sh -g 4 -d scannet -c semseg-st-v1m1-0-origin -n semseg-st-v1m1-0-origin
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-st-v1m2-0-refined -n semseg-st-v1m2-0-refined
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-st-v1m2-0-refined -n semseg-st-v1m2-0-refined

Spvcnn

SPVCNN adalah model dasar SPVNA, ini juga merupakan dasar praktis untuk set data di luar ruangan.

  1. Instal Torchsparse: 
 # refer https://github.com/mit-han-lab/torchsparse
# install method without sudo apt install
conda install google-sparsehash -c bioconda
export C_INCLUDE_PATH= ${CONDA_PREFIX} /include: $C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH= ${CONDA_PREFIX} /include:CPLUS_INCLUDE_PATH
pip install --upgrade git+https://github.com/mit-han-lab/torchsparse.git
  1. Pelatihan dengan contoh skrip berikut: 
 # SemanticKITTI
sh scripts/train.sh -g 2 -d semantic_kitti -c semseg-spvcnn-v1m1-0-base -n semseg-spvcnn-v1m1-0-base

Octformer

Octformer dari Octformer: Transformers Berbasis OCTREE untuk awan titik 3D .

  1. Persyaratan Tambahan: 
 cd libs
git clone https://github.com/octree-nn/dwconv.git
pip install ./dwconv
pip install ocnn
  1. Uncomment # from .octformer import * di pointcept/models/__init__.py .
  2. Pelatihan dengan contoh skrip berikut: 
 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-octformer-v1m1-0-base -n semseg-octformer-v1m1-0-base

Swin3d

Swin3D dari Swin3D: Tulang punggung transformator pretrained untuk pemahaman adegan indoor 3D .

  1. Persyaratan Tambahan: 
 # 1. Install MinkEngine v0.5.4, follow readme in https://github.com/NVIDIA/MinkowskiEngine;
# 2. Install Swin3D, mainly for cuda operation:
cd libs
git clone https://github.com/microsoft/Swin3D.git
cd Swin3D
pip install ./
  1. Uncomment # from .swin3d import * di pointcept/models/__init__.py .
  2. Pra-pelatihan dengan contoh skrip berikut (Preprocessing Preprocessing3D Struktur Referensi Di Sini): 
 # Structured3D + Swin-S
sh scripts/train.sh -g 4 -d structured3d -c semseg-swin3d-v1m1-0-small -n semseg-swin3d-v1m1-0-small
# Structured3D + Swin-L
sh scripts/train.sh -g 4 -d structured3d -c semseg-swin3d-v1m1-1-large -n semseg-swin3d-v1m1-1-large

# Addition
# Structured3D + SpUNet
sh scripts/train.sh -g 4 -d structured3d -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# Structured3D + PTv2
sh scripts/train.sh -g 4 -d structured3d -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
  1. Menyempurnakan dengan contoh skrip berikut: 
 # ScanNet + Swin-S
sh scripts/train.sh -g 4 -d scannet -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-0-small -n semseg-swin3d-v1m1-0-small
# ScanNet + Swin-L
sh scripts/train.sh -g 4 -d scannet -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-1-large -n semseg-swin3d-v1m1-1-large

# S3DIS + Swin-S (here we provide config support S3DIS normal vector)
sh scripts/train.sh -g 4 -d s3dis -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-0-small -n semseg-swin3d-v1m1-0-small
# S3DIS + Swin-L (here we provide config support S3DIS normal vector)
sh scripts/train.sh -g 4 -d s3dis -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-1-large -n semseg-swin3d-v1m1-1-large

Klasifikasi yang sadar-konteks

Context-Aware Classifier adalah segmentor yang selanjutnya dapat meningkatkan kinerja setiap tulang punggung, sebagai pengganti Default Segmentor . Pelatihan dengan contoh skrip berikut: 

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-cac-v1m1-0-spunet-base -n semseg-cac-v1m1-0-spunet-base
sh scripts/train.sh -g 4 -d scannet -c semseg-cac-v1m1-1-spunet-lovasz -n semseg-cac-v1m1-1-spunet-lovasz
sh scripts/train.sh -g 4 -d scannet -c semseg-cac-v1m1-2-ptv2-lovasz -n semseg-cac-v1m1-2-ptv2-lovasz

# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-cac-v1m1-0-spunet-base -n semseg-cac-v1m1-0-spunet-base
sh scripts/train.sh -g 4 -d scannet200 -c semseg-cac-v1m1-1-spunet-lovasz -n semseg-cac-v1m1-1-spunet-lovasz
sh scripts/train.sh -g 4 -d scannet200 -c semseg-cac-v1m1-2-ptv2-lovasz -n semseg-cac-v1m1-2-ptv2-lovasz

2. Segmentasi instan

Pointgroup

PointGroup adalah kerangka dasar untuk segmentasi instance cloud titik.

  1. Persyaratan Tambahan: 
conda install -c bioconda google-sparsehash 
cd libs/pointgroup_ops
python setup.py install --include_dirs= ${CONDA_PREFIX} /include
cd ../..
  1. Uncomment # from .point_group import * di pointcept/models/__init__.py .
  2. Pelatihan dengan contoh skrip berikut: 
 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c insseg-pointgroup-v1m1-0-spunet-base -n insseg-pointgroup-v1m1-0-spunet-base
# S3DIS
sh scripts/train.sh -g 4 -d scannet -c insseg-pointgroup-v1m1-0-spunet-base -n insseg-pointgroup-v1m1-0-spunet-base

3. Pra-pelatihan

Masked Scene Contrast (MSC)

  1. Pra-pelatihan dengan skrip contoh berikut: 
 # ScanNet
sh scripts/train.sh -g 8 -d scannet -c pretrain-msc-v1m1-0-spunet-base -n pretrain-msc-v1m1-0-spunet-base
  1. Menyempurnakan dengan contoh skrip berikut:
    Aktifkan pointgroup (di sini) sebelum menyempurnakan tugas segmentasi instan. 
 # ScanNet20 Semantic Segmentation
sh scripts/train.sh -g 8 -d scannet -w exp/scannet/pretrain-msc-v1m1-0-spunet-base/model/model_last.pth -c semseg-spunet-v1m1-4-ft -n semseg-msc-v1m1-0f-spunet-base
# ScanNet20 Instance Segmentation (enable PointGroup before running the script)
sh scripts/train.sh -g 4 -d scannet -w exp/scannet/pretrain-msc-v1m1-0-spunet-base/model/model_last.pth -c insseg-pointgroup-v1m1-0-spunet-base -n insseg-msc-v1m1-0f-pointgroup-spunet-base
  1. Contoh log dan berat: [pretrain] [semseg]

Point Prompt Training (PPT)

PPT menyajikan kerangka kerja pra-pelatihan multi-dataset, dan kompatibel dengan berbagai kerangka kerja pra-pelatihan yang ada.

  1. PPT Pelatihan Bersama Diawasi dengan contoh skrip berikut: 
 # ScanNet + Structured3d, validate on ScanNet (S3DIS might cause long data time, w/o S3DIS for a quick validation) >= 3090 * 8 
sh scripts/train.sh -g 8 -d scannet -c semseg-ppt-v1m1-0-sc-st-spunet -n semseg-ppt-v1m1-0-sc-st-spunet
sh scripts/train.sh -g 8 -d scannet -c semseg-ppt-v1m1-1-sc-st-spunet-submit -n semseg-ppt-v1m1-1-sc-st-spunet-submit
# ScanNet + S3DIS + Structured3d, validate on S3DIS (>= a100 * 8)
sh scripts/train.sh -g 8 -d s3dis -c semseg-ppt-v1m1-0-s3-sc-st-spunet -n semseg-ppt-v1m1-0-s3-sc-st-spunet
# SemanticKITTI + nuScenes + Waymo, validate on SemanticKITTI (bs12 >= 3090 * 4 >= 3090 * 8, v1m1-0 is still on tuning)
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-ppt-v1m1-0-nu-sk-wa-spunet -n semseg-ppt-v1m1-0-nu-sk-wa-spunet
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-ppt-v1m2-0-sk-nu-wa-spunet -n semseg-ppt-v1m2-0-sk-nu-wa-spunet
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-ppt-v1m2-1-sk-nu-wa-spunet-submit -n semseg-ppt-v1m2-1-sk-nu-wa-spunet-submit
# SemanticKITTI + nuScenes + Waymo, validate on nuScenes (bs12 >= 3090 * 4; bs24 >= 3090 * 8, v1m1-0 is still on tuning))
sh scripts/train.sh -g 4 -d nuscenes -c semseg-ppt-v1m1-0-nu-sk-wa-spunet -n semseg-ppt-v1m1-0-nu-sk-wa-spunet
sh scripts/train.sh -g 4 -d nuscenes -c semseg-ppt-v1m2-0-nu-sk-wa-spunet -n semseg-ppt-v1m2-0-nu-sk-wa-spunet
sh scripts/train.sh -g 4 -d nuscenes -c semseg-ppt-v1m2-1-nu-sk-wa-spunet-submit -n semseg-ppt-v1m2-1-nu-sk-wa-spunet-submit

PointContrast

  1. Dataset Preprocess and Link Scannet-Pair (pencocokan pasangan-bijaksana dengan bingkai RGB-D mentah scannet, ~ 1.5T): 
 # RAW_SCANNET_DIR: the directory of downloaded ScanNet v2 raw dataset.
# PROCESSED_SCANNET_PAIR_DIR: the directory of processed ScanNet pair dataset (output dir).
python pointcept/datasets/preprocessing/scannet/scannet_pair/preprocess.py --dataset_root ${RAW_SCANNET_DIR} --output_root ${PROCESSED_SCANNET_PAIR_DIR}
ln -s ${PROCESSED_SCANNET_PAIR_DIR} ${CODEBASE_DIR} /data/scannet
  1. Pra-pelatihan dengan skrip contoh berikut: 
 # ScanNet
sh scripts/train.sh -g 8 -d scannet -c pretrain-msc-v1m1-1-spunet-pointcontrast -n pretrain-msc-v1m1-1-spunet-pointcontrast
  1. Fine-tuning Refer MSC.

Konteks adegan kontras

  1. Dataset Preprocess and Link Scannet-Pair (Refer PointContrast):
  2. Pra-pelatihan dengan skrip contoh berikut: 
 # ScanNet
sh scripts/train.sh -g 8 -d scannet -c pretrain-msc-v1m2-0-spunet-csc -n pretrain-msc-v1m2-0-spunet-csc
  1. Fine-tuning Refer MSC.

Pengakuan

Pointcept dirancang oleh Xiaoyang, dinamai oleh Yixing dan logo dibuat oleh Yuechen. Ini berasal dari SEMSEG Hengshuang dan diinspirasi oleh beberapa repo, misalnya, Minkowskiengine, PointNet2, MMCV, dan Detectron2.

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua