trt_pose

trt_pose

Ingin mendeteksi pose tangan? Lihatlah proyek TRT_POSE_HAND baru untuk pose tangan real-time dan pengenalan gerakan!

TRT_POSE ditujukan untuk memungkinkan estimasi pose real-time pada NVIDIA Jetson. Anda mungkin juga berguna untuk platform NVIDIA lainnya. Saat ini proyek termasuk

• Model pra-terlatih untuk estimasi pose manusia yang mampu berjalan secara real time di Jetson Nano. Ini membuatnya mudah untuk mendeteksi fitur seperti left_eye , left_elbow , right_ankle , dll.

• Latihan skrip untuk melatih data tugas keypoint dalam format MSCOCO. Ini berarti Anda dapat bereksperimen dengan pelatihan TRT_POSE untuk tugas deteksi keypoint selain pose manusia.

Untuk memulai, ikuti instruksi di bawah ini. Jika Anda mengalami masalah apa pun, beri tahu kami.

Memulai

Untuk memulai dengan TRT_POSE, ikuti langkah -langkah ini.

Langkah 1 - Pasang dependensi

1. Instal Pytorch dan TorchVision. Untuk melakukan ini di Nvidia Jetson, kami sarankan mengikuti panduan ini

2. Instal Torch2trt

    git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
   cd torch2trt
   sudo python3 setup . py install - - plugins

3. Pasang paket lain -lain

    sudo pip3 install tqdm cython pycocotools
   sudo apt - get install python3 - matplotlib

Langkah 2 - Instal TRT_Pose

 git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py install

Langkah 3 - Jalankan contoh notebook

Kami menyediakan beberapa model estimasi pose manusia yang telah dilatih sebelumnya pada dataset MSCOCO. Throughput dalam FPS ditampilkan untuk setiap platform

Model	Jetson Nano	Jetson Xavier	Bobot
resnet18_baseline_att_224x224_a	22	251	Unduh (81MB)
DENSENET121_BASELINE_ATT_256X256_B	12	101	Unduh (84MB)

Untuk menjalankan demo notebook langsung Jupyter pada input kamera real-time, ikuti langkah-langkah ini

1. Unduh bobot model menggunakan tautan di tabel di atas.

2. Tempatkan bobot yang diunduh di Direktori Tugas/Human_Pose

3. Buka dan ikuti notebook live_demo.ipynb

   Anda mungkin perlu memodifikasi buku catatan, tergantung pada model mana yang Anda gunakan

Lihat juga

• TRT_POSE_HAND - Estimasi pose tangan real -time berdasarkan TRT_POSE

• Torch2trt - Pytorch to Tensorrt Converter yang mudah digunakan

• JetBot - Robot AI Pendidikan Berdasarkan Nvidia Jetson Nano

• JETRACER - A Racecar AI Pendidikan Menggunakan Nvidia Jetson Nano

• Jetcam - Antarmuka Kamera Python yang Mudah Digunakan Untuk Nvidia Jetson

Referensi

Arsitektur model TRT_POSE yang tercantum di atas terinspirasi oleh karya -karya berikut, tetapi bukan replika langsung. Harap tinjau kode open-source dan file konfigurasi di repositori ini untuk detail arsitektur. Jika Anda memiliki pertanyaan, jangan ragu untuk menjangkau.

• Cao, Zhe, dkk. "Realtime Multi-Person 2D Pose Estimation Menggunakan Bidang Afinitas Bagian." Prosiding Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola. 2017.

• Xiao, bin, haiping wu, dan yichen wei. "Baseline sederhana untuk estimasi dan pelacakan pose manusia." Prosiding Konferensi Eropa tentang Visi Komputer (ECCV). 2018.