trt_pose

trt_pose

¿Quieres detectar poses de manos? ¡Mira el nuevo proyecto TRT_POSE_HAND para obtener una pose de mano en tiempo real y reconocimiento de gestos!

TRT_POSE tiene como objetivo permitir la estimación de pose en tiempo real en Nvidia Jetson. Puede que también lo resulte útil para otras plataformas NVIDIA. Actualmente el proyecto incluye

• Modelos previamente capacitados para la estimación de pose humana capaces de ejecutarse en tiempo real en Jetson Nano. Esto facilita la detección de características como left_eye , left_elbow , right_ankle , etc.

• Scripts de capacitación para entrenar en cualquier datos de tareas de punto clave en formato MSCOCO. Esto significa que puede experimentar con el entrenamiento TRT_POSE para tareas de detección de keypoint que no sean pose humana.

Para comenzar, siga las instrucciones a continuación. Si te encuentras con algún problema, háganoslo saber.

Empezando

Para comenzar con TRT_POSE, siga estos pasos.

Paso 1 - Instalar dependencias

1. Instale Pytorch y TorchVision. Para hacer esto en Nvidia Jetson, recomendamos seguir esta guía

2. Instalar TORCH2TRT

    git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
   cd torch2trt
   sudo python3 setup . py install - - plugins

3. Instalar otros paquetes varios

    sudo pip3 install tqdm cython pycocotools
   sudo apt - get install python3 - matplotlib

Paso 2 - Instale TRT_POSE

 git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py install

Paso 3 - Ejecute el cuaderno de ejemplo

Proporcionamos un par de modelos de estimación de pose humanos previamente entrenados en el conjunto de datos MSCOCO. El rendimiento en FPS se muestra para cada plataforma

Modelo	Nano Jetson	Jetson Xavier	Pesas
resnet18_baseline_att_224x224_a	22	251	Descargar (81MB)
densenet121_baseline_att_256x256_b	12	101	Descargar (84MB)

Para ejecutar la demostración del cuaderno de Jupyter en vivo en la entrada de la cámara en tiempo real, siga estos pasos

1. Descargue los pesos del modelo usando el enlace en la tabla anterior.

2. Coloque los pesos descargados en el directorio de tareas/human_pose

3. Abra y siga el cuaderno live_demo.ipynb

   Es posible que deba modificar el cuaderno, dependiendo del modelo que use

Ver también

• TRT_POSE_HAND - Estimación de pose de mano en tiempo real basada en TRT_POSE

• Torch2Trt: un convertidor de Pytorch para tensor

• JETBOT - Un robot de IA educativo basado en Nvidia Jetson Nano

• JETRACER - Un autoaprecar de IA educativo usando Nvidia Jetson Nano

• JetCam: una interfaz de cámara Python fácil de usar para Nvidia Jetson

Referencias

Las arquitecturas del modelo TRT_pose enumeradas anteriormente están inspiradas en los siguientes trabajos, pero no son una réplica directa. Revise el código de código abierto y los archivos de configuración en este repositorio para obtener detalles de la arquitectura. Si tiene alguna pregunta, no dude en comunicarse.

• Cao, Zhe, et al. "Estimación de pose 2D en tiempo real en tiempo real utilizando campos de afinidad por parte". Actas de la conferencia IEEE sobre visión por computadora y reconocimiento de patrones. 2017.

• Xiao, Bin, Haiping Wu y Yichen Wei. "Líneas de base simples para la estimación y el seguimiento de la pose humana". Actas de la Conferencia Europea sobre Visión Computadora (ECCV). 2018.