trt_pose

trt_pose

Vous voulez détecter des poses à la main? Consultez le nouveau projet Trt_Pose_Hand pour la pose à la main et la reconnaissance des gestes à la main en temps réel!

TRT_POSE vise à permettre une estimation de la pose en temps réel sur Nvidia Jetson. Vous pouvez également le trouver utile pour d'autres plates-formes NVIDIA. Actuellement, le projet comprend

• Modèles pré-formés pour l'estimation de la pose humaine capable de fonctionner en temps réel sur Jetson Nano. Cela facilite la détection des fonctionnalités comme left_eye , left_elbow , right_ankle , etc.

• Scripts de formation pour s'entraîner sur toutes les données de la tâche KeyPoint au format MSCOCO. Cela signifie que vous pouvez expérimenter la formation trt_pose pour les tâches de détection de KeyPoint autres que la pose humaine.

Pour commencer, suivez les instructions ci-dessous. Si vous rencontrez des problèmes, veuillez nous le faire savoir.

Commencer

Pour commencer avec trt_pose, suivez ces étapes.

Étape 1 - Installez les dépendances

1. Installez Pytorch et Torchvision. Pour ce faire sur Nvidia Jetson, nous vous recommandons de suivre ce guide

2. Installer Torch2trt

    git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
   cd torch2trt
   sudo python3 setup . py install - - plugins

3. Installez d'autres packages divers

    sudo pip3 install tqdm cython pycocotools
   sudo apt - get install python3 - matplotlib

Étape 2 - Installez trt_pose

 git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py install

Étape 3 - Exécutez l'exemple de cahier

Nous fournissons quelques modèles d'estimation de la pose humaine pré-formés sur l'ensemble de données MSCOCO. Le débit en FPS est indiqué pour chaque plate-forme

Modèle	Jetson nano	Jetson Xavier	Poids
resnet18_baseline_att_224x224_a	22	251	Télécharger (81 Mo)
deneset121_baseline_att_256x256_b	12	101	Télécharger (84 Mo)

Pour exécuter la démonstration de cahier Jupyter Live sur l'entrée de la caméra en temps réel, suivez ces étapes

1. Téléchargez les poids du modèle à l'aide du lien dans le tableau ci-dessus.

2. Placez les poids téléchargés dans le répertoire Tâches / Human_pose

3. Ouvrez et suivez le cahier en direct_demo.ipynb

   Vous devrez peut-être modifier le cahier, selon le modèle que vous utilisez

Voir aussi

• TRT_POSE_HAND - Estimation de la pose de main en temps réel basée sur Trt_Pose

• TORCH2TRT - Un convertisseur Pytorch à Tensorrt facile à utiliser

• Jetbot - un robot de l'IA éducatif basé sur Nvidia Jetson Nano

• Jetracer - Une voiture de course éducative AI utilisant nvidia jetson nano

• JetCam - Une interface de caméra Python facile à utiliser pour Nvidia Jetson

Références

Les architectures du modèle Trt_Pose répertoriées ci-dessus sont inspirées par les œuvres suivantes, mais ne sont pas une réplique directe. Veuillez consulter le code open-source et les fichiers de configuration dans ce référentiel pour les détails de l'architecture. Si vous avez des questions, n'hésitez pas à tendre la main.

• Cao, Zhe, et al. "L'estimation de la pose 2D multi-personnes en temps réel à l'aide de champs d'affinité des pièces." Actes de la conférence IEEE sur la vision par ordinateur et la reconnaissance des modèles. 2017.

• Xiao, Bin, Haiping Wu et Yichen Wei. "Fais de référence simples pour l'estimation et le suivi de la pose humaine." Actes de la Conférence européenne sur la vision par ordinateur (ECCV). 2018.