trt_pose

trt_pose

Willst du Handposen erkennen? Schauen Sie sich das neue TRT_POSE_HAND-Projekt zur Echtzeit-Handpose und Gestenerkennung an!

TRT_POLE zielt darauf ab, die Echtzeit-Pose-Schätzung auf Nvidia Jetson zu ermöglichen. Möglicherweise finden Sie es auch für andere NVIDIA -Plattformen. Derzeit enthält das Projekt

• Vorausgebildete Modelle für die Humanpose-Schätzung, die in Echtzeit auf Jetson Nano laufen können. Dies erleichtert einfach, Funktionen wie left_eye , left_elbow , right_ankle usw. zu erkennen.

• Trainingsskripte, um auf Tastoint -Aufgabendaten im MSCOCO -Format zu trainieren. Dies bedeutet, dass Sie mit dem Training TRT_POLE für andere Tastoint -Erkennungsaufgaben als die menschliche Pose experimentieren können.

Befolgen Sie zunächst die Anweisungen unten. Wenn Sie auf Probleme stoßen, teilen Sie uns dies bitte mit.

Erste Schritte

Befolgen Sie diese Schritte, um mit TRT_POLE zu beginnen.

Schritt 1 - Abhängigkeiten installieren

1. Installieren Sie Pytorch und Torchvision. Um dies auf Nvidia Jetson zu tun, empfehlen wir, diesem Leitfaden zu folgen

2. Installieren Sie Torch2TRT

    git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
   cd torch2trt
   sudo python3 setup . py install - - plugins

3. Installieren Sie andere verschiedene Pakete

    sudo pip3 install tqdm cython pycocotools
   sudo apt - get install python3 - matplotlib

Schritt 2 - Installieren Sie TRT_POLE

 git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py install

Schritt 3 - Führen Sie das Beispiel -Notizbuch aus

Wir stellen einige menschliche Pose-Schätzmodelle an, die auf dem MSCOCO-Datensatz ausgebildet sind. Der Durchsatz in FPS wird für jede Plattform angezeigt

Modell	Jetson Nano	Jetson Xavier	Gewichte
Resnet18_Baseline_att_224x224_a	22	251	Download (81 MB)
DENsenet121_Baseline_att_256x256_B	12	101	Download (84 MB)

Befolgen Sie diese Schritte, um die Live-Jupyter-Notebook-Demo für Echtzeitkameras zu führen

1. Laden Sie die Modellgewichte mit dem Link in der obigen Tabelle herunter.

2. Platzieren Sie die heruntergeladenen Gewichte in das Verzeichnis für Aufgaben/Human_Pose

3. Öffnen und folgen Sie dem Notizbuch live_demo.ipynb

   Möglicherweise müssen Sie das Notizbuch ändern, je nachdem, welches Modell Sie verwenden

Siehe auch

• TRT_POSE_HAND - Echtzeit -Hand -Pose -Schätzung basierend auf TRT_POLE

• Torch2TRT - Ein einfach zu bedienender PyTorch -to -Tensorrt -Konverter

• JETBOT - Ein Bildungs -KI -Roboter, der auf Nvidia Jetson Nano basiert

• Jetracer - Ein Bildungs -KI -Rennwagen mit Nvidia Jetson Nano

• JETCAM - Eine einfach zu verwendende Python -Kamera -Schnittstelle für Nvidia Jetson

Referenzen

Die oben aufgeführten TRT_PINE -Modellarchitekturen sind von den folgenden Werken inspiriert, sind jedoch keine direkte Nachbildung. Bitte überprüfen Sie den Open-Source-Code und die Konfigurationsdateien in diesem Repository für Architekturdetails. Wenn Sie Fragen haben, können Sie sich gerne wenden.

• Cao, Zhe et al. "Echtzeit-Multi-Personen-2D-Pose-Schätzungen unter Verwendung von Teilaffinitätsfeldern." Proceedings der IEEE -Konferenz über Computer Vision und Mustererkennung. 2017.

• Xiao, Bin, Haiping Wu und Yichen Wei. "Einfache Baselines für die Schätzung und Verfolgung von Menschenpose." Verfahren der Europäischen Konferenz über Computer Vision (ECCV). 2018.