pytorch YOLOv4

Pytorch-yolov4

Una implementación mínima de Pytorch de Yolov4.

• Paper Yolo V4: https://arxiv.org/abs/2004.10934

• Código fuente: https: //github.com/alexeyab/Darknet

• Más detalles: http://pjreddie.com/darknet/yolo/

• Inferencia

• Tren

  • Mosaico

 ├── README.md
├── dataset.py            dataset
├── demo.py               demo to run pytorch --> tool/darknet2pytorch
├── demo_darknet2onnx.py  tool to convert into onnx --> tool/darknet2pytorch
├── demo_pytorch2onnx.py  tool to convert into onnx
├── models.py             model for pytorch
├── train.py              train models.py
├── cfg.py                cfg.py for train
├── cfg                   cfg --> darknet2pytorch
├── data            
├── weight                --> darknet2pytorch
├── tool
│   ├── camera.py           a demo camera
│   ├── coco_annotation.py       coco dataset generator
│   ├── config.py
│   ├── darknet2pytorch.py
│   ├── region_loss.py
│   ├── utils.py
│   └── yolo_layer.py

0. Descarga de pesas

0.1 Darknet

• Baidu (https://pan.baidu.com/s/1dagew8cm-dqk14tbhhveta Código de extracción: DM5B)
• Google (https://drive.google.com/open?id=1CEWMFUSMPJYWBRNUJRUKHPMWRE_B9PAT)

0.2 Pytorch

Puede usar DarkNet2PyTorch para convertirlo usted mismo o descargar mi modelo convertido.

• baidu
  • yolov4.pth (https://pan.baidu.com/s/1zrodvogscdgte1ja_qqjvw Código de extracción: XRQ9)
  • yolov4.conv.137.pth (https://pan.baidu.com/s/1ovbie4yyvqqourc3ay0joa Código de extracción: Kcel)
• Google
  • yolov4.pth (https://drive.google.com/open?id=1wv_lifecrywtpkqrepei13-gpelbdwuj)
  • yolov4.conv.137.pth (https://drive.google.com/open?id=1fcbr0bwzyfiedljpzosn4r5mlvr6iqya)

1. Train

Use yolov4 para entrenar sus propios datos

1. Descargar peso

2. Transformar datos

   Para el conjunto de datos de Coco, puede usar Tool/Coco_annotation.py.

    # train.txt
   image_path1 x1,y1,x2,y2,id x1,y1,x2,y2,id x1,y1,x2,y2,id ...
   image_path2 x1,y1,x2,y2,id x1,y1,x2,y2,id x1,y1,x2,y2,id ...
   ...
   ...
   

3. Tren

   Puede establecer parámetros en cfg.py.

    python train.py -g [GPU_ID] -dir [Dataset direction] ...
   

2. Inferencia

2.1 Rendimiento en MS Coco DataSet (utilizando los pesos DarkNet previos al detenido de https://github.com/alexeyab/Darknet)

Los modelos ONNX y Tensorrt se convierten de Pytorch (Tianxiaomo): Pytorch-> Onnx-> Tensorrt. Consulte las siguientes secciones para obtener más detalles de las conversiones.

• Val2017 conjunto de datos (tamaño de entrada: 416x416)

Tipo de modelo	AP	AP50	AP75	APS	APM	APL
Darknet (papel yolov4)	0.471	0.710	0.510	0.278	0.525	0.636
Pytorch (Tianxiaomo)	0.466	0.704	0.505	0.267	0.524	0.629
Tensorrt FP32 + BatchednmsPlugin	0.472	0.708	0.511	0.273	0.530	0.637
Tensorrt FP16 + BatchednmsPlugin	0.472	0.708	0.511	0.273	0.530	0.636

• TestDev2017 DataSet (tamaño de entrada: 416x416)

Tipo de modelo	AP	AP50	AP75	APS	APM	APL
Darknet (papel yolov4)	0.412	0.628	0.443	0.204	0.444	0.560
Pytorch (Tianxiaomo)	0.404	0.615	0.436	0.196	0.438	0.552
Tensorrt FP32 + BatchednmsPlugin	0.412	0.625	0.445	0.200	0.446	0.564
Tensorrt FP16 + BatchednmsPlugin	0.412	0.625	0.445	0.200	0.446	0.563

2.2 Tamaño de entrada de imagen para inferencia

El tamaño de la entrada de la imagen no está restringido en 320 * 320 , 416 * 416 , 512 * 512 y 608 * 608 . Puede ajustar sus tamaños de entrada para una relación de entrada diferente, por ejemplo: 320 * 608 . El tamaño de entrada más grande podría ayudar a detectar objetivos más pequeños, pero puede ser más lento y la memoria de GPU agotando.

 height = 320 + 96 * n , n in { 0 , 1 , 2 , 3 , ...}
width  = 320 + 96 * m , m in { 0 , 1 , 2 , 3 , ...}

2.3 Opciones de inferencia diferentes

• Cargue el modelo DarkNet Pretraned y los pesos DarkNet para hacer la inferencia (el tamaño de la imagen ya está configurado en el archivo CFG)

  python demo.py -cfgfile < cfgFile > -weightfile < weightFile > -imgfile < imgFile >

• Cargar pesos de pytorch (archivo PTH) para hacer la inferencia

  python models.py < num_classes > < weightfile > < imgfile > < IN_IMAGE_H > < IN_IMAGE_W > < namefile(optional) >

• Cargar el archivo ONNX convertido para hacer inferencia (consulte la Sección 3 y 4)

• Cargue el archivo de motor Tensorrt convertido para hacer inferencia (consulte la Sección 5)

2.4 Salida de inferencia

Hay 2 salidas de inferencia.

• Una es ubicaciones de cajas delimitadoras, su forma es [batch, num_boxes, 1, 4] que representa x1, y1, x2, y2 de cada cuadro delimitador.
• El otro son puntajes de cajas delimitadoras que tienen forma [batch, num_boxes, num_classes] que indican puntajes de todas las clases para cada cuadro delimitador.

Hasta ahora, todavía se requiere una pequeña pieza de postprocesamiento que incluya NMS. Estamos tratando de minimizar el tiempo y la complejidad del postprocesamiento.

3. Darknet2onnx

• Este script es convertir el modelo oficial de Darknet previamente practicado en ONNX

• Versión de Pytorch recomendada:

  • Pytorch 1.4.0 para Tensorrt 7.0 y superior
  • Pytorch 1.5.0 y 1.6.0 para Tensorrt 7.1.2 y superior

• Instalar onnxruntime

  pip install onnxruntime

• Ejecute el script de Python para generar el modelo ONNX y ejecutar la demostración

  python demo_darknet2onnx.py < cfgFile > < namesFile > < weightFile > < imageFile > < batchSize > 

3.1 Tamaño de lote dinámico o estático

• El tamaño positivo de lotes generará un modelo ONNX de tamaño de lote estático, de lo contrario, el tamaño de lotes será dinámico
  • El tamaño de lotes dinámico generará solo un modelo ONNX
  • El tamaño de lotes estáticos generará 2 modelos ONNX, uno es para ejecutar la demostración (Batch_Size = 1)

4. Pytorch2onnx

• Puede convertir su modelo Pytorch capacitado en ONNX utilizando este script

• Versión de Pytorch recomendada:

  • Pytorch 1.4.0 para Tensorrt 7.0 y superior
  • Pytorch 1.5.0 y 1.6.0 para Tensorrt 7.1.2 y superior

• Instalar onnxruntime

  pip install onnxruntime

• Ejecute el script de Python para generar el modelo ONNX y ejecutar la demostración

  python demo_pytorch2onnx.py < weight_file > < image_path > < batch_size > < n_classes > < IN_IMAGE_H > < IN_IMAGE_W >

  Por ejemplo:

  python demo_pytorch2onnx.py yolov4.pth dog.jpg 8 80 416 416

4.1 Tamaño de lote dinámico o estático

• El tamaño positivo de lotes generará un modelo ONNX de tamaño de lote estático, de lo contrario, el tamaño de lotes será dinámico
  • El tamaño de lotes dinámico generará solo un modelo ONNX
  • El tamaño de lotes estáticos generará 2 modelos ONNX, uno es para ejecutar la demostración (Batch_Size = 1)

5. Onnx2tensorrt

• Versión de Tensorrt recomendada: 7.0, 7.1

5.1 Convertir de ONNX de tamaño de lote estático

• Ejecute el siguiente comando para convertir el modelo Yolov4 ONNX en motor Tensorrt

  trtexec --onnx= < onnx_file > --explicitBatch --saveEngine= < tensorRT_engine_file > --workspace= < size_in_megabytes > --fp16

  • Nota: Si desea usar el modo INT8 en la conversión, se necesita una calibración adicional INT8.

5.2 Convertir de ONNX de tamaño de lote dinámico

• Ejecute el siguiente comando para convertir el modelo Yolov4 ONNX en motor Tensorrt

  trtexec --onnx= < onnx_file > 
  --minShapes=input: < shape_of_min_batch > --optShapes=input: < shape_of_opt_batch > --maxShapes=input: < shape_of_max_batch > 
  --workspace= < size_in_megabytes > --saveEngine= < engine_file > --fp16

• Por ejemplo:

  trtexec --onnx=yolov4_-1_3_320_512_dynamic.onnx 
  --minShapes=input:1x3x320x512 --optShapes=input:4x3x320x512 --maxShapes=input:8x3x320x512 
  --workspace=2048 --saveEngine=yolov4_-1_3_320_512_dynamic.engine --fp16

5.3 Ejecute la demostración

python demo_trt.py < tensorRT_engine_file > < input_image > < input_H > < input_W >

• Esta demostración aquí solo funciona cuando BatchSize es dinámica (1 debe estar dentro del rango dinámico) o BatchSize = 1, pero puede actualizar esta demostración un poco para otros tamaños de lotes dinámicos o estáticos.

• Nota1: Input_h y Input_W deben estar de acuerdo con el tamaño de entrada en el archivo ONNX original.

• Nota 2: Se necesitan operaciones adicionales de NMS para la salida Tensorrt. Esta demostración utiliza el código Python NMS de tool/utils.py .

6. Onnx2tensorflow

• Primero: conversión a ONNX

  tensorflow> = 2.0

  1: Gracias: GitHub: https: //github.com/onnx/onnx-tensorflow

  2: Ejecute Git Clone https://github.com/onnx/onnx-tensorflow.git && cd onnx tensorflow ejecute pip install -e.

  Nota: Se producirán errores al usar "Instalar PIP ONNX-TF", al menos para mí, se recomienda usar la instalación del código fuente

7. Onnx2tensorrt y DeepStream Inference

1. Compilar el complemento Nvinfer de DeepStream

    cd DeepStream
    make 

2. Construya un motor TRT.

Para un solo lote,

 trtexec --onnx=<onnx_file> --explicitBatch --saveEngine=<tensorRT_engine_file> --workspace=<size_in_megabytes> --fp16

Para múltiples lotes,

 trtexec --onnx=<onnx_file> --explicitBatch --shapes=input:Xx3xHxW --optShapes=input:Xx3xHxW --maxShapes=input:Xx3xHxW --minShape=input:1x3xHxW --saveEngine=<tensorRT_engine_file> --fp16

NOTA: Las capas máximas no podrían ser más grandes que la forma original del modelo.

3. Escriba el archivo de configuración de DeepStream para el motor TRT.

Referencia:

• https://github.com/eriklindernoren/pytorch-yolov3
• https://github.com/marvis/pytorch-caffe-darknet-convert
• https://github.com/marvis/pytorch-yolo3

 @article{yolov4,
  title={YOLOv4: YOLOv4: Optimal Speed and Accuracy of Object Detection},
  author={Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao},
  journal = {arXiv},
  year={2020}
}