trt_pose

trt_soe

Хотите обнаружить позы рук? Проверьте новый проект TRT_PENT_HAND для получения позы в режиме реального времени и распознавания жестов!

TRT_SOPE нацелен на включение оценки позы в реальном времени на NVIDIA Jetson. Вы также можете найти его полезным для других платформ NVIDIA. В настоящее время проект включает

• Предварительно обученные модели для оценки позы человека, способных работать в режиме реального времени на Jetson Nano. Это позволяет легко обнаружить функции, такие как left_eye , left_elbow , right_ankle и т. Д.

• Обучающие сценарии для обучения любым данным задач в классе в формате MSCOCO. Это означает, что вы можете экспериментировать с обучением TRT_PENT для задач обнаружения клавиш, отличных от позы человека.

Чтобы начать, следуйте инструкциям ниже. Если вы столкнетесь с любыми проблемами, дайте нам знать.

Начиная

Чтобы начать с TRT_PENT, следуйте этим шагам.

Шаг 1 - Установите зависимости

1. Установите Pytorch и Torchvision. Чтобы сделать это на Nvidia Jetson, мы рекомендуем следовать этому руководству

2. Установите Torch2trt

    git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
   cd torch2trt
   sudo python3 setup . py install - - plugins

3. Установите другие разные пакеты

    sudo pip3 install tqdm cython pycocotools
   sudo apt - get install python3 - matplotlib

Шаг 2 - Установите TRT_PENT

 git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py install

Шаг 3 - Запустите пример ноутбука

Мы предоставляем пару моделей оценки позы человека, предварительно обученных на наборе данных MSCOCO. Пропускная способность в FPS показана для каждой платформы

Модель	Jetson Nano	Джетсон Ксавье	Вес
resnet18_baseline_att_224x224_a	22	251	Скачать (81 МБ)
Densenet121_baseline_att_256x256_b	12	101	Скачать (84 МБ)

Чтобы запустить демонстрацию ноутбука в прямом эфире при вводе камеры в реальном времени, выполните следующие действия, выполните следующие действия.

1. Загрузите веса модели, используя ссылку в приведенной выше таблице.

2. Поместите загруженные веса в каталог задач/Human_pe

3. Откройте и следуйте ноутбуке LIVE_DEMO.IPYNB

   Вам может потребоваться изменить ноутбук, в зависимости от того, какая модель вы используете

Смотрите также

• TRT_PENT_HAND - оценка позы в режиме реального времени на основе TRT_PEPE

• Torch2trt - Легкий в использовании Pytorch в Tensorrt Converter

• Jetbot - образовательный робот с искусственным интеллектом на основе Nvidia Jetson Nano

• Jetracer - образовательный гоночный автомобиль с использованием Nvidia Jetson Nano

• Jetcam - простой в использовании интерфейс Python Camera для Nvidia Jetson

Ссылки

Архитектуры модели TRT_PONE, перечисленные выше, вдохновлены следующими работами, но не являются прямой копией. Пожалуйста, просмотрите код с открытым исходным кодом и файлы конфигурации в этом репозитории для сведений о архитектуре. Если у вас есть какие -либо вопросы, не стесняйтесь обратиться.

• Cao, Zhe, et al. «Реальная многопользовательская оценка 2D Pose с использованием части сродства частично». Материалы конференции IEEE по компьютерному видению и распознаванию образцов. 2017.

• Сяо, Бин, Хейпинг Ву и Йихен Вэй. «Простые базовые показатели для оценки и отслеживания позы человека». Материалы Европейской конференции по компьютерному видению (ECCV). 2018.