Inicio>Relacionado con la programación>Pitón
Descargar


Pointcept es una base de código poderosa y flexible para la investigación de percepción de la nube de puntos. También es una implementación oficial del siguiente documento:

  • Point Transformer V3: más simple, más rápido, más fuerte
    Xiaoyang Wu, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, Hengshuang Zhao
    Conferencia IEEE sobre visión por computadora y reconocimiento de patrones ( CVPR ) 2024 - Oral
    [Backbone] [PTV3] - [ARXIV] [BIB] [Proyecto] → aquí

  • OA-CNNS: CNN dispersos de omni-adaptativos para la segmentación semántica 3D
    Bohao Peng, Xiaoyang Wu, Li Jiang, Yukang Chen, Hengshuang Zhao, Zhuotao Tian, Jiaya Jia
    Conferencia IEEE sobre visión por computadora y reconocimiento de patrones ( CVPR ) 2024
    [Backbone] [oa -cnns] - [arxiv] [bab] → aquí

  • Hacia el aprendizaje de representación 3D a gran escala con capacitación rápida de múltiples datasetos
    Xiaoyang Wu, Zhuotao Tian, Xin Wen, Bohao Peng, Xihui Liu, Kaicheng Yu, Hengshuang Zhao
    Conferencia IEEE sobre visión por computadora y reconocimiento de patrones ( CVPR ) 2024
    [Pretralmente] [PPT] - [arxiv] [bib] → aquí

  • Contraste de escena enmascarada: un marco escalable para el aprendizaje de representación 3D no supervisado
    Xiaoyang Wu, Xin Wen, Xihui Liu, Hengshuang Zhao
    Conferencia IEEE sobre visión por computadora y reconocimiento de patrones ( CVPR ) 2023
    [Pretralmente] [MSC] - [ARXIV] [babero] → aquí

  • Aprendizaje del clasificador de contexto para la segmentación semántica (parte 3d)
    Zhuotao Tian, Jiequan Cui, Li Jiang, Xiaojuan Qi, Xin Lai, Yixin Chen, Shu Liu, Jiaya Jia
    Conferencia AAAI sobre inteligencia artificial ( AAAI ) 2023 - ORAL
    [Semseg] [CAC] - [ARXIV] [BIB] [2D PARTE] → AQUÍ

  • Point Transformer V2: Atención de vectores agrupados y agrupación basada en la partición
    Xiaoyang Wu, Yixing Lao, Li Jiang, Xihui Liu, Hengshuang Zhao
    Conferencia sobre Sistemas de Procesamiento de Información Neural ( Neurips ) 2022
    [Backbone] [PTV2] - [ARXIV] [BIB] → aquí

  • Transformador de puntos
    Hengshuang Zhao, Li Jiang, Jiaya Jia, Philip Torr, Vladlen Koltun
    Conferencia Internacional IEEE sobre Visión de Computadora ( ICCV ) 2021 - Oral
    [Backbone] [PTV1] - [ARXIV] [BIB] → AQUÍ

Además, Pointcept integra el siguiente excelente trabajo (contiene arriba):
Backbone: Minkunet (aquí), Spunet (aquí), Spvcnn (aquí), oacnns (aquí), ptv1 (aquí), ptv2 (aquí), ptv3 (aquí), estratifiFormer (aquí), octformer (aquí), swin3d (aquí);
Segmentación semántica: mix3d (aquí), CAC (aquí);
Segmentación de instancia: PointGroup (aquí);
Pre-entrenamiento: PointContrast (aquí), contextos de escena contrastantes (aquí), contraste de escena enmascarado (aquí), entrenamiento de puntaje de puntos (aquí);
Conjuntos de datos: Scannet (aquí), Scannet200 (aquí), Scannet ++ (aquí), S3DIS (aquí), Matterport3d (aquí), Arkitscene, Structured3d (aquí), Semantickitti (aquí), Nuscenes (aquí), Modelnet40 (aquí), Waymo (aquí).

Reflejos

  • Mayo de 2024 : en V1.5.2, rediseñamos la estructura predeterminada para cada conjunto de datos para un mejor rendimiento. Vuelva a depender de los conjuntos de datos o descargue nuestros conjuntos de datos preprocesados desde aquí .
  • Abr, 2024 : PTV3 se selecciona como uno de los 90 documentos orales (3.3% de documentos aceptados, 0.78% de envíos) por CVPR'24!
  • Mar, 2024 : Lanzamos código para OA-CNNS , aceptado por CVPR'24. Problema relacionado con OA-CNNS puede @pbihao.
  • Feb, 2024 : CVPR'24 también ha aceptado PTV3 y PPT , otros dos documentos de nuestro equipo de Pointcept también han sido aceptados por CVPR'24? ¡Los pondremos disponibles públicamente pronto!
  • Dic, 2023 : PTV3 se lanza en ARXIV, y el código está disponible en Pointcept. PTV3 es un modelo de columna vertebral eficiente que logra actuaciones de SOTA en escenarios interiores y exteriores.
  • Ago, 2023 : PPT se lanza en ARXIV. PPT presenta un marco de pre-entrenamiento de múltiples dataset que logra el rendimiento de SOTA en escenarios interiores y exteriores . Es compatible con varios marcos y columnas de pre-entrenamiento existentes. Es accesible una versión previa al lanzamiento del código; Para aquellos interesados, no dude en contactarme directamente para acceder.
  • Mar, 2023 : Lanzamos nuestra base de código, Pointcept , una herramienta muy potente para el aprendizaje y la percepción de representación de la nube de puntos. Damos la bienvenida a un nuevo trabajo para unirse a la familia Pointcept y recomendamos leer Quick Start antes de comenzar su sendero.
  • FEB, 2023 : MSC y CECO aceptados por CVPR 2023. MSC es un marco de prisión altamente eficiente y efectivo que facilita el pretratenamiento a gran escala de dataset, mientras que CECO es un método de segmentación diseñado específicamente para conjuntos de datos de cola larga. Ambos enfoques son compatibles con todos los modelos troncales existentes en nuestra base de código, y pronto haremos que el código esté disponible para uso público.
  • Enero de 2023 : CAC , trabajo oral de AAAI 2023, ha ampliado su resultado 3D con la incorporación de Pointcept. Esta adición permitirá a CAC servir como un segmento conectable dentro de nuestra base de código.
  • Sep, 2022 : PTV2 aceptado por Neurips 2022. Es una continuación del transformador puntual. La teoría del GVA propuesta puede aplicarse a la mayoría de los mecanismos de atención existentes, mientras que la agrupación de la red también es una adición práctica a los métodos de agrupación existentes.

Citación

Si considera que Pointcept es útil para su investigación, cite nuestro trabajo como aliento. (੭ˊ꒳ˋ) ੭✧ 

 @misc{pointcept2023,
    title={Pointcept: A Codebase for Point Cloud Perception Research},
    author={Pointcept Contributors},
    howpublished = {url{https://github.com/Pointcept/Pointcept}},
    year={2023}
}

Descripción general

  • Instalación
  • Preparación de datos
  • Comienzo rápido
  • Zoológico modelo
  • Citación
  • Reconocimiento

Instalación

Requisitos

  • Ubuntu: 18.04 y superior.
  • CUDA: 11.3 y superior.
  • Pytorch: 1.10.0 y superior.

Ambiente de conda 

conda create -n pointcept python=3.8 -y
conda activate pointcept
conda install ninja -y
# Choose version you want here: https://pytorch.org/get-started/previous-versions/
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch -y
conda install h5py pyyaml -c anaconda -y
conda install sharedarray tensorboard tensorboardx yapf addict einops scipy plyfile termcolor timm -c conda-forge -y
conda install pytorch-cluster pytorch-scatter pytorch-sparse -c pyg -y
pip install torch-geometric

# spconv (SparseUNet)
# refer https://github.com/traveller59/spconv
pip install spconv-cu113

# PPT (clip)
pip install ftfy regex tqdm
pip install git+https://github.com/openai/CLIP.git

# PTv1 & PTv2 or precise eval
cd libs/pointops
# usual
python setup.py install
# docker & multi GPU arch
TORCH_CUDA_ARCH_LIST= " ARCH LIST " python  setup.py install
# e.g. 7.5: RTX 3000; 8.0: a100 More available in: https://developer.nvidia.com/cuda-gpus
TORCH_CUDA_ARCH_LIST= " 7.5 8.0 " python  setup.py install
cd ../..

# Open3D (visualization, optional)
pip install open3d

Preparación de datos

Escaneto V2

El preprocesamiento admite la segmentación semántica y de instancia para ScanNet20 , ScanNet200 y ScanNet Data Efficient .

  • Descargue el conjunto de datos Scannet V2.

  • Ejecute el código de preprocesamiento para el escaneto sin procesar de la siguiente manera: 

     # RAW_SCANNET_DIR: the directory of downloaded ScanNet v2 raw dataset.
# PROCESSED_SCANNET_DIR: the directory of the processed ScanNet dataset (output dir).
python pointcept/datasets/preprocessing/scannet/preprocess_scannet.py --dataset_root ${RAW_SCANNET_DIR} --output_root ${PROCESSED_SCANNET_DIR}

  • (Opcional) Descargue archivos eficientes de datos de escaneo: 

     # download-scannet.py is the official download script
# or follow instructions here: https://kaldir.vc.in.tum.de/scannet_benchmark/data_efficient/documentation#download
python download-scannet.py --data_efficient -o ${RAW_SCANNET_DIR}
# unzip downloads
cd ${RAW_SCANNET_DIR} /tasks
unzip limited-annotation-points.zip
unzip limited-reconstruction-scenes.zip
# copy files to processed dataset folder
mkdir ${PROCESSED_SCANNET_DIR} /tasks
cp -r ${RAW_SCANNET_DIR} /tasks/points ${PROCESSED_SCANNET_DIR} /tasks
cp -r ${RAW_SCANNET_DIR} /tasks/scenes ${PROCESSED_SCANNET_DIR} /tasks

  • (Alternativa) Nuestros datos de preprocesos se pueden descargar directamente [aquí], acuerde la licencia oficial antes de descargarlo.

  • Enlace el conjunto de datos procesado a la base de código: 

     # PROCESSED_SCANNET_DIR: the directory of the processed ScanNet dataset.
mkdir data
ln -s ${PROCESSED_SCANNET_DIR} ${CODEBASE_DIR} /data/scannet

Escaneto ++

  • Descargue el conjunto de datos Scannet ++.
  • Ejecute el código de preprocesamiento para el escaneo sin procesar ++ de la siguiente manera: 
     # RAW_SCANNETPP_DIR: the directory of downloaded ScanNet++ raw dataset.
# PROCESSED_SCANNETPP_DIR: the directory of the processed ScanNet++ dataset (output dir).
# NUM_WORKERS: the number of workers for parallel preprocessing.
python pointcept/datasets/preprocessing/scannetpp/preprocess_scannetpp.py --dataset_root ${RAW_SCANNETPP_DIR} --output_root ${PROCESSED_SCANNETPP_DIR} --num_workers ${NUM_WORKERS}
  • Muestreo y fragmento de datos de nubes de puntos grandes en el tren/Val Split de la siguiente manera (solo se usa para el entrenamiento): 
     # PROCESSED_SCANNETPP_DIR: the directory of the processed ScanNet++ dataset (output dir).
# NUM_WORKERS: the number of workers for parallel preprocessing.
python pointcept/datasets/preprocessing/sampling_chunking_data.py --dataset_root ${PROCESSED_SCANNETPP_DIR} --grid_size 0.01 --chunk_range 6 6 --chunk_stride 3 3 --split train --num_workers ${NUM_WORKERS}
python pointcept/datasets/preprocessing/sampling_chunking_data.py --dataset_root ${PROCESSED_SCANNETPP_DIR} --grid_size 0.01 --chunk_range 6 6 --chunk_stride 3 3 --split val --num_workers ${NUM_WORKERS}
  • (Alternativa) Nuestros datos de preprocesos se pueden descargar directamente [aquí], acuerde la licencia oficial antes de descargarlo.
  • Enlace el conjunto de datos procesado a la base de código: 
     # PROCESSED_SCANNETPP_DIR: the directory of the processed ScanNet dataset.
mkdir data
ln -s ${PROCESSED_SCANNETPP_DIR} ${CODEBASE_DIR} /data/scannetpp

S3dis

  • Descargue los datos S3DIS llenando este formulario de Google. Descargue el archivo Stanford3dDataset_v1.2.zip y descúplalo.

  • Arregle el error en Area_5/office_19/Annotations/ceiling línea 323474 (103.0�0000 => 103.000000).

  • (Opcional) Descargue el conjunto de datos S3DIS completo 2D-3D (sin XYZ) desde aquí para analizar la normalidad.

  • Ejecute el código de preprocesamiento para S3DIS de la siguiente manera: 

     # S3DIS_DIR: the directory of downloaded Stanford3dDataset_v1.2 dataset.
# RAW_S3DIS_DIR: the directory of Stanford2d3dDataset_noXYZ dataset. (optional, for parsing normal)
# PROCESSED_S3DIS_DIR: the directory of processed S3DIS dataset (output dir).

# S3DIS without aligned angle
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR}
# S3DIS with aligned angle
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR} --align_angle
# S3DIS with normal vector (recommended, normal is helpful)
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR} --raw_root ${RAW_S3DIS_DIR} --parse_normal
python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py --dataset_root ${S3DIS_DIR} --output_root ${PROCESSED_S3DIS_DIR} --raw_root ${RAW_S3DIS_DIR} --align_angle --parse_normal

  • (Alternativa) Nuestros datos de preprocesos también se pueden descargar [aquí] (con vector normal y ángulo alineado), de acuerdo con la licencia oficial antes de descargarlo.

  • Enlace el conjunto de datos procesado a CodeBase. 

     # PROCESSED_S3DIS_DIR: the directory of processed S3DIS dataset.
mkdir data
ln -s ${PROCESSED_S3DIS_DIR} ${CODEBASE_DIR} /data/s3dis

Estructurado 3D

  • Descargue los archivos ZIP relacionados con Panorama Estructurado3D (completos) rellenando este formulario de Google (no es necesario descifrarlos).
  • Organice todo el archivo zip descargado en una carpeta ( ${STRUCT3D_DIR} ).
  • Ejecute el código de preprocesamiento para estructurado3D de la siguiente manera: 
     # STRUCT3D_DIR: the directory of downloaded Structured3D dataset.
# PROCESSED_STRUCT3D_DIR: the directory of processed Structured3D dataset (output dir).
# NUM_WORKERS: Number for workers for preprocessing, default same as cpu count (might OOM).
export PYTHONPATH=./
python pointcept/datasets/preprocessing/structured3d/preprocess_structured3d.py --dataset_root ${STRUCT3D_DIR} --output_root ${PROCESSED_STRUCT3D_DIR} --num_workers ${NUM_WORKERS} --grid_size 0.01 --fuse_prsp --fuse_pano

Después de la instrucción de SWIN3D, mantenemos 25 categorías con frecuencias de más de 0.001, de las 40 categorías originales.

  • (Alternativa) Nuestros datos de preprocesos también se pueden descargar [aquí] (con vistas de perspectiva y vista panorámica, 471.7g después de la baja), acuerde la licencia oficial antes de descargarla.

  • Enlace el conjunto de datos procesado a CodeBase. 

     # PROCESSED_STRUCT3D_DIR: the directory of processed Structured3D dataset (output dir).
mkdir data
ln -s ${PROCESSED_STRUCT3D_DIR} ${CODEBASE_DIR} /data/structured3d

Matterport3d

  • Siga esta página para solicitar acceso al conjunto de datos.
  • Descargue el tipo "Region_segmation", que representa la división de una escena en habitaciones individuales. 
     # download-mp.py is the official download script
# MATTERPORT3D_DIR: the directory of downloaded Matterport3D dataset.
python download-mp.py -o {MATTERPORT3D_DIR} --type region_segmentations
  • Descompensar los datos de las segmentos regionales 
     # MATTERPORT3D_DIR: the directory of downloaded Matterport3D dataset.
python pointcept/datasets/preprocessing/matterport3d/unzip_matterport3d_region_segmentation.py --dataset_root {MATTERPORT3D_DIR}
  • Ejecute el código de preprocesamiento para MatterPort3d de la siguiente manera: 
     # MATTERPORT3D_DIR: the directory of downloaded Matterport3D dataset.
# PROCESSED_MATTERPORT3D_DIR: the directory of processed Matterport3D dataset (output dir).
# NUM_WORKERS: the number of workers for this preprocessing.
python pointcept/datasets/preprocessing/matterport3d/preprocess_matterport3d_mesh.py --dataset_root ${MATTERPORT3D_DIR} --output_root ${PROCESSED_MATTERPORT3D_DIR} --num_workers ${NUM_WORKERS}
  • Enlace el conjunto de datos procesado a CodeBase. 
     # PROCESSED_MATTERPORT3D_DIR: the directory of processed Matterport3D dataset (output dir).
mkdir data
ln -s ${PROCESSED_MATTERPORT3D_DIR} ${CODEBASE_DIR} /data/matterport3d

Siguiendo la instrucción de las salas abiertas, reasignamos las categorías de Matterport3d para escanetar 20 categorías semánticas con la adición de una categoría de techo.

  • (Alternativa) Nuestros datos de preprocesos también se pueden descargar aquí, acuerde la licencia oficial antes de descargarlo.

Semantickitti

  • Descargue el conjunto de datos Semantickitti.
  • Enlace el conjunto de datos a CodeBase. 
     # SEMANTIC_KITTI_DIR: the directory of SemanticKITTI dataset.
# |- SEMANTIC_KITTI_DIR
#   |- dataset
#     |- sequences
#       |- 00
#       |- 01
#       |- ...

mkdir -p data
ln -s ${SEMANTIC_KITTI_DIR} ${CODEBASE_DIR} /data/semantic_kitti

nuscenos

  • Descargue el conjunto de datos de nusceno oficial (con segmentación LIDAR) y organice los archivos descargados de la siguiente manera: 

    NUSCENES_DIR
│── samples
│── sweeps
│── lidarseg
...
│── v1.0-trainval 
│── v1.0-test

  • Ejecute el código de preprocesamiento de información (modificado de OpenPCDET) para Nuscenes de la siguiente manera: 

     # NUSCENES_DIR: the directory of downloaded nuScenes dataset.
# PROCESSED_NUSCENES_DIR: the directory of processed nuScenes dataset (output dir).
# MAX_SWEEPS: Max number of sweeps. Default: 10.
pip install nuscenes-devkit pyquaternion
python pointcept/datasets/preprocessing/nuscenes/preprocess_nuscenes_info.py --dataset_root ${NUSCENES_DIR} --output_root ${PROCESSED_NUSCENES_DIR} --max_sweeps ${MAX_SWEEPS} --with_camera

  • (Alternativa) Nuestros datos de información de preprocesos Nuscenes también se pueden descargar [aquí] (solo información procesada, aún necesita descargar un conjunto de datos sin procesar y un enlace a la carpeta), acuerde la licencia oficial antes de descargarla.

  • Enlace el conjunto de datos sin procesar a la carpeta del conjunto de datos de nusceno procesado: 

     # NUSCENES_DIR: the directory of downloaded nuScenes dataset.
# PROCESSED_NUSCENES_DIR: the directory of processed nuScenes dataset (output dir).
ln -s ${NUSCENES_DIR} {PROCESSED_NUSCENES_DIR}/raw

    Luego, la carpeta Nuscenes procesada se organiza de la siguiente manera: 

    nuscene
| ── raw
    │── samples
    │── sweeps
    │── lidarseg
    ...
    │── v1.0-trainval
    │── v1.0-test
| ── info

  • Enlace el conjunto de datos procesado a CodeBase. 

     # PROCESSED_NUSCENES_DIR: the directory of processed nuScenes dataset (output dir).
mkdir data
ln -s ${PROCESSED_NUSCENES_DIR} ${CODEBASE_DIR} /data/nuscenes

Waymo

  • Descargue el conjunto de datos Waymo oficial (v1.4.3) y organice los archivos descargados de la siguiente manera: 

    WAYMO_RAW_DIR
│── training
│── validation
│── testing

  • Instale la siguiente dependencia: 

     # If shows "No matching distribution found", download whl directly from Pypi and install the package.
conda create -n waymo python=3.10 -y
conda activate waymo
pip install waymo-open-dataset-tf-2-12-0

  • Ejecute el código de preprocesamiento de la siguiente manera: 

     # WAYMO_DIR: the directory of the downloaded Waymo dataset.
# PROCESSED_WAYMO_DIR: the directory of the processed Waymo dataset (output dir).
# NUM_WORKERS: num workers for preprocessing
python pointcept/datasets/preprocessing/waymo/preprocess_waymo.py --dataset_root ${WAYMO_DIR} --output_root ${PROCESSED_WAYMO_DIR} --splits training validation --num_workers ${NUM_WORKERS}

  • Enlace el conjunto de datos procesado a la base de código. 

     # PROCESSED_WAYMO_DIR: the directory of the processed Waymo dataset (output dir).
mkdir data
ln -s ${PROCESSED_WAYMO_DIR} ${CODEBASE_DIR} /data/waymo

Modelnet

  • Descargue modelnet40_normal_resampled.zip y unzip
  • Enlace el conjunto de datos a la base de código. 
    mkdir -p data
ln -s ${MODELNET_DIR} ${CODEBASE_DIR} /data/modelnet40_normal_resampled

Comienzo rápido

Capacitación

Tren desde cero. El procesamiento de capacitación se basa en las configuraciones en la carpeta configs . El script de entrenamiento generará una carpeta de experimentos en la carpeta exp y el código esencial de respaldo en la carpeta de experimentos. La configuración de entrenamiento, el registro, la tabla tensor y los puntos de control también se guardarán en la carpeta del experimento durante el proceso de entrenamiento. 

 export CUDA_VISIBLE_DEVICES= ${CUDA_VISIBLE_DEVICES}
# Script (Recommended)
sh scripts/train.sh -p ${INTERPRETER_PATH} -g ${NUM_GPU} -d ${DATASET_NAME} -c ${CONFIG_NAME} -n ${EXP_NAME}
# Direct
export PYTHONPATH=./
python tools/train.py --config-file ${CONFIG_PATH} --num-gpus ${NUM_GPU} --options save_path= ${SAVE_PATH}

Por ejemplo: 

 # By script (Recommended)
# -p is default set as python and can be ignored
sh scripts/train.sh -p python -d scannet -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# Direct
export PYTHONPATH=./
python tools/train.py --config-file configs/scannet/semseg-pt-v2m2-0-base.py --options save_path=exp/scannet/semseg-pt-v2m2-0-base

Reanudar la capacitación desde el punto de control. Si el proceso de capacitación se interrumpe por accidente, el siguiente script puede reanudar la capacitación desde un punto de control determinado. 

 export CUDA_VISIBLE_DEVICES= ${CUDA_VISIBLE_DEVICES}
# Script (Recommended)
# simply add "-r true"
sh scripts/train.sh -p ${INTERPRETER_PATH} -g ${NUM_GPU} -d ${DATASET_NAME} -c ${CONFIG_NAME} -n ${EXP_NAME} -r true
# Direct
export PYTHONPATH=./
python tools/train.py --config-file ${CONFIG_PATH} --num-gpus ${NUM_GPU} --options save_path= ${SAVE_PATH} resume=True weight= ${CHECKPOINT_PATH}

Pruebas

Durante el entrenamiento, la evaluación del modelo se realiza en nubes puntuales después del muestreo de la red (voxelización), proporcionando una evaluación inicial del rendimiento del modelo. Sin embargo, para obtener resultados de evaluación precisos, las pruebas son esenciales . El proceso de prueba implica submuestrar una nube de puntos denso en una secuencia de nubes de puntos voxelizados, lo que garantiza una cobertura integral de todos los puntos. Estos subcreesultos se predicen y se recopilan para formar una predicción completa de toda la nube de puntos. Este enfoque produce resultados de evaluación más altos en comparación con simplemente mapear/interpolar la predicción. Además, nuestro código de prueba admite pruebas TTA (aumento del tiempo de prueba), lo que mejora aún más la estabilidad del rendimiento de la evaluación. 

 # By script (Based on experiment folder created by training script)
sh scripts/test.sh -p ${INTERPRETER_PATH} -g ${NUM_GPU} -d ${DATASET_NAME} -n ${EXP_NAME} -w ${CHECKPOINT_NAME}
# Direct
export PYTHONPATH=./
python tools/test.py --config-file ${CONFIG_PATH} --num-gpus ${NUM_GPU} --options save_path= ${SAVE_PATH} weight= ${CHECKPOINT_PATH}

Por ejemplo: 

 # By script (Based on experiment folder created by training script)
# -p is default set as python and can be ignored
# -w is default set as model_best and can be ignored
sh scripts/test.sh -p python -d scannet -n semseg-pt-v2m2-0-base -w model_best
# Direct
export PYTHONPATH=./
python tools/test.py --config-file configs/scannet/semseg-pt-v2m2-0-base.py --options save_path=exp/scannet/semseg-pt-v2m2-0-base weight=exp/scannet/semseg-pt-v2m2-0-base/model/model_best.pth

El TTA se puede deshabilitar reemplazando data.test.test_cfg.aug_transform = [...] con: 

 data = dict (
    train = dict (...),
    val = dict (...),
    test = dict (
        ...,
        test_cfg = dict (
            ...,
            aug_transform = [
                [ dict ( type = "RandomRotateTargetAngle" , angle = [ 0 ], axis = "z" , center = [ 0 , 0 , 0 ], p = 1 )]
            ]
        )
    )
)

Compensar

Offset es el separador de las nubes puntuales en los datos de lotes, y es similar al concepto de Batch en PYG. Una ilustración visual de lotes y compensación es la siguiente:


Zoológico modelo

1. Bocina y segmentación semántica

Escasez

Pointcept proporciona SparseUNet implementado por SpConv y MinkowskiEngine . Se recomienda la versión SPCONV ya que SPCONV es fácil de instalar y más rápido que MinkowskiEngine. Mientras tanto, SPCONV también se aplica ampliamente en la percepción al aire libre.

  • SPCONV (recomendar)

La versión SPCONV SparseUNet en la base de código se reescribió por completo de la versión MinkowskiEngine , el ejemplo que ejecuta el script es el siguiente: 

 # ScanNet val
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# S3DIS (with normal)
sh scripts/train.sh -g 4 -d s3dis -c semseg-spunet-v1m1-0-cn-base -n semseg-spunet-v1m1-0-cn-base
# SemanticKITTI
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# nuScenes
sh scripts/train.sh -g 4 -d nuscenes -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# ModelNet40
sh scripts/train.sh -g 2 -d modelnet40 -c cls-spunet-v1m1-0-base -n cls-spunet-v1m1-0-base

# ScanNet Data Efficient
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la20 -n semseg-spunet-v1m1-2-efficient-la20
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la50 -n semseg-spunet-v1m1-2-efficient-la50
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la100 -n semseg-spunet-v1m1-2-efficient-la100
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-la200 -n semseg-spunet-v1m1-2-efficient-la200
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr1 -n semseg-spunet-v1m1-2-efficient-lr1
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr5 -n semseg-spunet-v1m1-2-efficient-lr5
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr10 -n semseg-spunet-v1m1-2-efficient-lr10
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-2-efficient-lr20 -n semseg-spunet-v1m1-2-efficient-lr20

# Profile model run time
sh scripts/train.sh -g 4 -d scannet -c semseg-spunet-v1m1-0-enable-profiler -n semseg-spunet-v1m1-0-enable-profiler
  • MinkowskiEngine

La versión de MinkowskiEngine SparseUNet en la base de código se modificó a partir del repositorio original de MinkowskiEngine, y los scripts de ejecución de ejemplo son los siguientes:

  1. Instale MinkowskIenEngine, consulte https://github.com/nvidia/minkowskiEngine
  2. Entrenamiento con los siguientes scripts de ejemplo: 
 # Uncomment "# from .sparse_unet import *" in "pointcept/models/__init__.py"
# Uncomment "# from .mink_unet import *" in "pointcept/models/sparse_unet/__init__.py"
# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base
# SemanticKITTI
sh scripts/train.sh -g 2 -d semantic_kitti -c semseg-minkunet34c-0-base -n semseg-minkunet34c-0-base

Oa-cnns

Introducción de CNN 3D adaptables omni-adaptativos ( OA-CNNS ), una familia de redes que integra un módulo liviano para mejorar en gran medida la adaptación de los CNN dispersos a un costo computacional mínimo. Sin módulos de autoatensión, los OA-CNN superan favorablemente los transformadores de puntos en términos de precisión en escenas interiores y exteriores, con mucha menos latencia y costo de memoria. Problema relacionado con OA-CNNS puede @pbihao. 

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-oacnns-v1m1-0-base -n semseg-oacnns-v1m1-0-base

Transformadores de puntos

  • PTV3

PTV3 es un modelo de columna vertebral eficiente que logra actuaciones de SOTA en escenarios interiores y exteriores. El PTV3 completo se basa en FlashAttent, mientras que la flashatent se basa en CUDA 11.6 y superior, asegúrese de que su entorno local de Pointcept satisfaga los requisitos.

Si no puede actualizar su entorno local para satisfacer los requisitos (CUDA> = 11.6), puede deshabilitar el flashatent configurando el parámetro del modelo enable_flash en false y reduciendo el enc_patch_size y dec_patch_size en un nivel (por ejemplo, 128).

La fuerza de flashatención deshabilita RPE y obliga a la precisión reducida a FP16. Si requiere estas funciones, deshabilite enable_flash y ajuste enable_rpe , upcast_attention y upcast_softmax .

Las instrucciones detalladas y los registros de experimentos (que contienen pesos) están disponibles en el repositorio del proyecto. Ejemplo de ejecución de scripts son los siguientes: 

 # Scratched ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# PPT joint training (ScanNet + Structured3D) and evaluate in ScanNet
sh scripts/train.sh -g 8 -d scannet -c semseg-pt-v3m1-1-ppt-extreme -n semseg-pt-v3m1-1-ppt-extreme

# Scratched ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# Fine-tuning from  PPT joint training (ScanNet + Structured3D) with ScanNet200
# PTV3_PPT_WEIGHT_PATH: Path to model weight trained by PPT multi-dataset joint training
# e.g. exp/scannet/semseg-pt-v3m1-1-ppt-extreme/model/model_best.pth
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v3m1-1-ppt-ft -n semseg-pt-v3m1-1-ppt-ft -w ${PTV3_PPT_WEIGHT_PATH}

# Scratched ScanNet++
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# Scratched ScanNet++ test
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v3m1-1-submit -n semseg-pt-v3m1-1-submit


# Scratched S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# an example for disbale flash_attention and enable rpe.
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v3m1-1-rpe -n semseg-pt-v3m1-0-rpe
# PPT joint training (ScanNet + S3DIS + Structured3D) and evaluate in ScanNet
sh scripts/train.sh -g 8 -d s3dis -c semseg-pt-v3m1-1-ppt-extreme -n semseg-pt-v3m1-1-ppt-extreme
# S3DIS 6-fold cross validation
# 1. The default configs are evaluated on Area_5, modify the "data.train.split", "data.val.split", and "data.test.split" to make the config evaluated on Area_1 ~ Area_6 respectively.
# 2. Train and evaluate the model on each split of areas and gather result files located in "exp/s3dis/EXP_NAME/result/Area_x.pth" in one single folder, noted as RECORD_FOLDER.
# 3. Run the following script to get S3DIS 6-fold cross validation performance:
export PYTHONPATH=./
python tools/test_s3dis_6fold.py --record_root ${RECORD_FOLDER}

# Scratched nuScenes
sh scripts/train.sh -g 4 -d nuscenes -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base
# Scratched Waymo
sh scripts/train.sh -g 4 -d waymo -c semseg-pt-v3m1-0-base -n semseg-pt-v3m1-0-base

# More configs and exp records for PTv3 will be available soon.

Segmentación semántica interior

Modelo Punto de referencia Datos adicionales Num GPU Val miu Configuración Tabla tensor Registro de EXP
PTV3 Escaneta ✗ 4 77.6% enlace enlace enlace
PTV3 + PPT Escaneta ✓ 8 78.5% enlace enlace enlace
PTV3 Scannet200 ✗ 4 35.3% enlace enlace enlace
PTV3 + PPT Scannet200 ✓ (ft) 4
PTV3 S3DIS (área5) ✗ 4 73.6% enlace enlace enlace
PTV3 + PPT S3DIS (área5) ✓ 8 75.4% enlace enlace enlace

Segmentación semántica al aire libre

Modelo Punto de referencia Datos adicionales Num GPU Val miu Configuración Tabla tensor Registro de EXP
PTV3 nuscenos ✗ 4 80.3 enlace enlace enlace
PTV3 + PPT nuscenos ✓ 8
PTV3 Semantickitti ✗ 4
PTV3 + PPT Semantickitti ✓ 8
PTV3 Waymo ✗ 4 71.2 enlace enlace Enlace (solo registro)
PTV3 + PPT Waymo ✓ 8

*Los pesos del modelo liberado están entrenados para V1.5.1, los pesos para V1.5.2 y luego aún están en curso.

  • Modo PTV22

El PTV2 original fue entrenado en 4 * RTX A6000 (memoria 48 g). Incluso habilitando un amplificador, el costo de memoria del PTV2 original es ligeramente mayor que 24 g. Teniendo en cuenta que las GPU con memoria de 24 g son mucho más accesibles, sintonicé el PTV2 en el último Pointcept y lo hice en ejecución en máquinas 4 * RTX 3090.

PTv2 Mode2 habilita AMP y deshabilita la posición de codificación multiplicador y agrupado lineal . Durante nuestra investigación adicional, encontramos que las coordenadas precisas no son necesarias para la comprensión de las nubes de puntos (reemplazar las coordenadas precisas con las coordenadas de la cuadrícula no influye en el rendimiento. Además, Sparseunet es un ejemplo). En cuanto a Lineal agrupado, mi implementación de Lineal agrupado parece costar más memoria que la capa lineal proporcionada por Pytorch. En beneficio de la base de código y una mejor ajuste de parámetros, también aliviamos el problema de sobreajuste. El rendimiento de reproducción es incluso mejor que los resultados informados en nuestro artículo.

Ejemplo de ejecución de scripts son los siguientes: 

 # ptv2m2: PTv2 mode2, disable PEM & Grouped Linear, GPU memory cost < 24G (recommend)
# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m2-3-lovasz -n semseg-pt-v2m2-3-lovasz

# ScanNet test
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m2-1-submit -n semseg-pt-v2m2-1-submit
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# ScanNet++
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# ScanNet++ test
sh scripts/train.sh -g 4 -d scannetpp -c semseg-pt-v2m2-1-submit -n semseg-pt-v2m2-1-submit
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# SemanticKITTI
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
# nuScenes
sh scripts/train.sh -g 4 -d nuscenes -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
  • Modo PTV21

PTv2 mode1 es el PTV2 original que informamos en nuestro artículo, ejemplo en ejecución de scripts es los siguientes: 

 # ptv2m1: PTv2 mode1, Original PTv2, GPU memory cost > 24G
# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v2m1-0-base -n semseg-pt-v2m1-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v2m1-0-base -n semseg-pt-v2m1-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v2m1-0-base -n semseg-pt-v2m1-0-base
  • PTV1

El PTV1 original también está disponible en nuestra base de código Pointcept. No he ejecutado PTV1 durante mucho tiempo, pero me he asegurado de que el ejemplo que ejecute el script funcione bien. 

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-pt-v1-0-base -n semseg-pt-v1-0-base
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-pt-v1-0-base -n semseg-pt-v1-0-base
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-pt-v1-0-base -n semseg-pt-v1-0-base

Transformador estratificado

  1. Requisitos adicionales: 
pip install torch-points3d
# Fix dependence, caused by installing torch-points3d 
pip uninstall SharedArray
pip install SharedArray==3.2.1

cd libs/pointops2
python setup.py install
cd ../..
  1. UNCOMMENT # from .stratified_transformer import * En pointcept/models/__init__.py .
  2. Consulte la instalación opcional para instalar dependencia.
  3. Entrenamiento con los siguientes scripts de ejemplo: 
 # stv1m1: Stratified Transformer mode1, Modified from the original Stratified Transformer code.
# PTv2m2: Stratified Transformer mode2, My rewrite version (recommend).

# ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-st-v1m2-0-refined -n semseg-st-v1m2-0-refined
sh scripts/train.sh -g 4 -d scannet -c semseg-st-v1m1-0-origin -n semseg-st-v1m1-0-origin
# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-st-v1m2-0-refined -n semseg-st-v1m2-0-refined
# S3DIS
sh scripts/train.sh -g 4 -d s3dis -c semseg-st-v1m2-0-refined -n semseg-st-v1m2-0-refined

Spvcnn

SPVCNN es un modelo de referencia de SPVNA, también es una línea de base práctica para conjuntos de datos al aire libre.

  1. Instalar antorchsparse: 
 # refer https://github.com/mit-han-lab/torchsparse
# install method without sudo apt install
conda install google-sparsehash -c bioconda
export C_INCLUDE_PATH= ${CONDA_PREFIX} /include: $C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH= ${CONDA_PREFIX} /include:CPLUS_INCLUDE_PATH
pip install --upgrade git+https://github.com/mit-han-lab/torchsparse.git
  1. Entrenamiento con los siguientes scripts de ejemplo: 
 # SemanticKITTI
sh scripts/train.sh -g 2 -d semantic_kitti -c semseg-spvcnn-v1m1-0-base -n semseg-spvcnn-v1m1-0-base

Former

Octformer de Octformer: Transformadores basados en Octree para nubes de puntos 3D .

  1. Requisitos adicionales: 
 cd libs
git clone https://github.com/octree-nn/dwconv.git
pip install ./dwconv
pip install ocnn
  1. Descopment # from .octformer import * en pointcept/models/__init__.py .
  2. Entrenamiento con los siguientes scripts de ejemplo: 
 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-octformer-v1m1-0-base -n semseg-octformer-v1m1-0-base

Swin3d

SWIN3D de SWIN3D: una columna vertebral de transformador previamente para la comprensión de la escena interior 3D .

  1. Requisitos adicionales: 
 # 1. Install MinkEngine v0.5.4, follow readme in https://github.com/NVIDIA/MinkowskiEngine;
# 2. Install Swin3D, mainly for cuda operation:
cd libs
git clone https://github.com/microsoft/Swin3D.git
cd Swin3D
pip install ./
  1. Descopment # from .swin3d import * en pointcept/models/__init__.py .
  2. Pre-entrenamiento con los siguientes scripts de ejemplo (preprocesamiento estructurado 3D referirse aquí): 
 # Structured3D + Swin-S
sh scripts/train.sh -g 4 -d structured3d -c semseg-swin3d-v1m1-0-small -n semseg-swin3d-v1m1-0-small
# Structured3D + Swin-L
sh scripts/train.sh -g 4 -d structured3d -c semseg-swin3d-v1m1-1-large -n semseg-swin3d-v1m1-1-large

# Addition
# Structured3D + SpUNet
sh scripts/train.sh -g 4 -d structured3d -c semseg-spunet-v1m1-0-base -n semseg-spunet-v1m1-0-base
# Structured3D + PTv2
sh scripts/train.sh -g 4 -d structured3d -c semseg-pt-v2m2-0-base -n semseg-pt-v2m2-0-base
  1. Ajuste fino con los siguientes scripts de ejemplo: 
 # ScanNet + Swin-S
sh scripts/train.sh -g 4 -d scannet -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-0-small -n semseg-swin3d-v1m1-0-small
# ScanNet + Swin-L
sh scripts/train.sh -g 4 -d scannet -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-1-large -n semseg-swin3d-v1m1-1-large

# S3DIS + Swin-S (here we provide config support S3DIS normal vector)
sh scripts/train.sh -g 4 -d s3dis -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-0-small -n semseg-swin3d-v1m1-0-small
# S3DIS + Swin-L (here we provide config support S3DIS normal vector)
sh scripts/train.sh -g 4 -d s3dis -w exp/structured3d/semseg-swin3d-v1m1-1-large/model/model_last.pth -c semseg-swin3d-v1m1-1-large -n semseg-swin3d-v1m1-1-large

Clasificador de contexto

Context-Aware Classifier es un segmento que puede aumentar aún más el rendimiento de cada esqueleta, como un reemplazo para Default Segmentor . Entrenamiento con los siguientes scripts de ejemplo: 

 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c semseg-cac-v1m1-0-spunet-base -n semseg-cac-v1m1-0-spunet-base
sh scripts/train.sh -g 4 -d scannet -c semseg-cac-v1m1-1-spunet-lovasz -n semseg-cac-v1m1-1-spunet-lovasz
sh scripts/train.sh -g 4 -d scannet -c semseg-cac-v1m1-2-ptv2-lovasz -n semseg-cac-v1m1-2-ptv2-lovasz

# ScanNet200
sh scripts/train.sh -g 4 -d scannet200 -c semseg-cac-v1m1-0-spunet-base -n semseg-cac-v1m1-0-spunet-base
sh scripts/train.sh -g 4 -d scannet200 -c semseg-cac-v1m1-1-spunet-lovasz -n semseg-cac-v1m1-1-spunet-lovasz
sh scripts/train.sh -g 4 -d scannet200 -c semseg-cac-v1m1-2-ptv2-lovasz -n semseg-cac-v1m1-2-ptv2-lovasz

2. Segmentación de instancias

Grupo de puntos

PointGroup es un marco de referencia para la segmentación de instancia de nubes de puntos.

  1. Requisitos adicionales: 
conda install -c bioconda google-sparsehash 
cd libs/pointgroup_ops
python setup.py install --include_dirs= ${CONDA_PREFIX} /include
cd ../..
  1. Descomment # from .point_group import * en pointcept/models/__init__.py .
  2. Entrenamiento con los siguientes scripts de ejemplo: 
 # ScanNet
sh scripts/train.sh -g 4 -d scannet -c insseg-pointgroup-v1m1-0-spunet-base -n insseg-pointgroup-v1m1-0-spunet-base
# S3DIS
sh scripts/train.sh -g 4 -d scannet -c insseg-pointgroup-v1m1-0-spunet-base -n insseg-pointgroup-v1m1-0-spunet-base

3. Prerreining

Contraste de escena enmascarada (MSC)

  1. Prerreining con los siguientes scripts de ejemplo: 
 # ScanNet
sh scripts/train.sh -g 8 -d scannet -c pretrain-msc-v1m1-0-spunet-base -n pretrain-msc-v1m1-0-spunet-base
  1. Ajuste fino con los siguientes scripts de ejemplo:
    Habilitar PointGroup (aquí) antes de ajustar la tarea de segmentación de instancias. 
 # ScanNet20 Semantic Segmentation
sh scripts/train.sh -g 8 -d scannet -w exp/scannet/pretrain-msc-v1m1-0-spunet-base/model/model_last.pth -c semseg-spunet-v1m1-4-ft -n semseg-msc-v1m1-0f-spunet-base
# ScanNet20 Instance Segmentation (enable PointGroup before running the script)
sh scripts/train.sh -g 4 -d scannet -w exp/scannet/pretrain-msc-v1m1-0-spunet-base/model/model_last.pth -c insseg-pointgroup-v1m1-0-spunet-base -n insseg-msc-v1m1-0f-pointgroup-spunet-base
  1. Ejemplo de registro y peso: [Pretrante] [Semseg]

Entrenamiento indicado en puntos (PPT)

PPT presenta un marco de pre-entrenamiento de múltiples dataset, y es compatible con varios marcos y columnas de pre-entrenamiento existentes.

  1. PPT Supervisó entrenamiento conjunto con los siguientes scripts de ejemplo: 
 # ScanNet + Structured3d, validate on ScanNet (S3DIS might cause long data time, w/o S3DIS for a quick validation) >= 3090 * 8 
sh scripts/train.sh -g 8 -d scannet -c semseg-ppt-v1m1-0-sc-st-spunet -n semseg-ppt-v1m1-0-sc-st-spunet
sh scripts/train.sh -g 8 -d scannet -c semseg-ppt-v1m1-1-sc-st-spunet-submit -n semseg-ppt-v1m1-1-sc-st-spunet-submit
# ScanNet + S3DIS + Structured3d, validate on S3DIS (>= a100 * 8)
sh scripts/train.sh -g 8 -d s3dis -c semseg-ppt-v1m1-0-s3-sc-st-spunet -n semseg-ppt-v1m1-0-s3-sc-st-spunet
# SemanticKITTI + nuScenes + Waymo, validate on SemanticKITTI (bs12 >= 3090 * 4 >= 3090 * 8, v1m1-0 is still on tuning)
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-ppt-v1m1-0-nu-sk-wa-spunet -n semseg-ppt-v1m1-0-nu-sk-wa-spunet
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-ppt-v1m2-0-sk-nu-wa-spunet -n semseg-ppt-v1m2-0-sk-nu-wa-spunet
sh scripts/train.sh -g 4 -d semantic_kitti -c semseg-ppt-v1m2-1-sk-nu-wa-spunet-submit -n semseg-ppt-v1m2-1-sk-nu-wa-spunet-submit
# SemanticKITTI + nuScenes + Waymo, validate on nuScenes (bs12 >= 3090 * 4; bs24 >= 3090 * 8, v1m1-0 is still on tuning))
sh scripts/train.sh -g 4 -d nuscenes -c semseg-ppt-v1m1-0-nu-sk-wa-spunet -n semseg-ppt-v1m1-0-nu-sk-wa-spunet
sh scripts/train.sh -g 4 -d nuscenes -c semseg-ppt-v1m2-0-nu-sk-wa-spunet -n semseg-ppt-v1m2-0-nu-sk-wa-spunet
sh scripts/train.sh -g 4 -d nuscenes -c semseg-ppt-v1m2-1-nu-sk-wa-spunet-submit -n semseg-ppt-v1m2-1-nu-sk-wa-spunet-submit

PointContrast

  1. Preprocesos y enlaces de datos de pares de escaneo (coincidencia de pares con marco RWB-D RAW de Scannet, ~ 1.5t): 
 # RAW_SCANNET_DIR: the directory of downloaded ScanNet v2 raw dataset.
# PROCESSED_SCANNET_PAIR_DIR: the directory of processed ScanNet pair dataset (output dir).
python pointcept/datasets/preprocessing/scannet/scannet_pair/preprocess.py --dataset_root ${RAW_SCANNET_DIR} --output_root ${PROCESSED_SCANNET_PAIR_DIR}
ln -s ${PROCESSED_SCANNET_PAIR_DIR} ${CODEBASE_DIR} /data/scannet
  1. Prerreining con los siguientes scripts de ejemplo: 
 # ScanNet
sh scripts/train.sh -g 8 -d scannet -c pretrain-msc-v1m1-1-spunet-pointcontrast -n pretrain-msc-v1m1-1-spunet-pointcontrast
  1. Ajuste de referencia MSC.

Contextos de escena contrastantes

  1. Preprocesos y conjunto de datos de pares de escaneo de enlace (consulte PointContrast):
  2. Prerreining con los siguientes scripts de ejemplo: 
 # ScanNet
sh scripts/train.sh -g 8 -d scannet -c pretrain-msc-v1m2-0-spunet-csc -n pretrain-msc-v1m2-0-spunet-csc
  1. Ajuste de referencia MSC.

Reconocimiento

Pointcept está diseñado por Xiaoyang, nombrado por Yixing y el logotipo es creado por Yuechen. Se deriva del semseg de Hengshuang e inspira por varios repos, por ejemplo, Minkowskiengine, PointNet2, MMCV y Detectron2.

Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo