trt_pose
1.0.0
ハンドポーズを検出したいですか？リアルタイムのハンドポーズとジェスチャー認識のために、新しいTRT_POSE_HANDプロジェクトをご覧ください！
TRT_POSEは、NVIDIA Jetsonのリアルタイムポーズ推定を有効にすることを目的としています。他のNvidiaプラットフォームにも役立つ場合があります。現在、プロジェクトには含まれています
Jetson Nanoでリアルタイムで実行できる人間のポーズ推定のための事前に訓練されたモデル。これにより、 left_eye 、 left_elbow 、 right_ankleなどの機能を簡単に検出できます。
MSCOCO形式のキーポイントタスクデータをトレーニングするためのトレーニングスクリプト。これは、人間のポーズ以外のキーポイント検出タスクのTRT_POSEのトレーニングを実験できることを意味します。
開始するには、以下の指示に従ってください。問題が発生した場合は、お知らせください。
TRT_POSEを始めるには、次の手順に従ってください。
PytorchとTorchvisionをインストールします。 Nvidia Jetsonでこれを行うには、このガイドに従うことをお勧めします
TORCH2TRTをインストールします
git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
cd torch2trt
sudo python3 setup . py install - - plugins他のその他のパッケージをインストールします
sudo pip3 install tqdm cython pycocotools
sudo apt - get install python3 - matplotlib git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py installMSCOCOデータセットで事前に訓練された人間のポーズ推定モデルをいくつか提供します。 FPSのスループットは、各プラットフォームに表示されます
| モデル | ジェットソンナノ | ジェットソンザビエル | ウェイト |
|---|---|---|---|
| RESNET18_BASELINE_ATT_224X224_A | 22 | 251 | ダウンロード（81MB） |
| densenet121_baseline_att_256x256_b | 12 | 101 | ダウンロード（84MB） |
リアルタイムのカメラ入力でライブJupyterノートブックのデモを実行するには、次の手順に従ってください
上記のテーブルのリンクを使用して、モデルの重みをダウンロードします。
ダウンロードしたウェイトをタスク/human_poseディレクトリに配置します
Live_demo.ipynbノートブックを開いてフォローしてください
使用するモデルに応じて、ノートを変更する必要がある場合があります
TRT_POSE_HAND -TRT_POSEに基づくリアルタイムのハンドポーズ推定
TORCH2TRT-使いやすいPytorchからTensort Converter
Jetbot -Nvidia Jetson Nanoに基づく教育AIロボット
Jetracer -Nvidia Jetson Nanoを使用した教育AI Racecar
Jetcam- nvidiaジェットソン用の使いやすいPythonカメラインターフェイス
上記のTRT_POSEモデルアーキテクチャは、次の作品に触発されていますが、直接的なレプリカではありません。アーキテクチャの詳細については、このリポジトリのオープンソースコードと構成ファイルを確認してください。ご質問がある場合は、お気軽にご連絡ください。
Cao、Zhe、他「パーツアフィニティフィールドを使用したリアルタイムマルチパーソン2Dポーズ推定。」コンピュータービジョンとパターン認識に関するIEEE会議の議事録。 2017年。
Xiao、Bin、Haiping Wu、およびYichen Wei。 「人間のポーズ推定と追跡のための単純なベースライン。」コンピュータービジョンに関する欧州会議（ECCV）の議事録。 2018年。
