trt_pose

trt_pose

Quer detectar poses de mão? Confira o novo projeto trt_pose_hand para pose de mão em tempo real e reconhecimento de gestos!

O TRT_POSE visa permitir a estimativa de pose em tempo real em Nvidia Jetson. Você também pode achar útil para outras plataformas da NVIDIA. Atualmente, o projeto inclui

• Modelos pré-treinados para estimativa de pose humana capaz de executar em tempo real no Jetson Nano. Isso facilita a detecção de recursos como left_eye , left_elbow , right_ankle , etc.

• Scripts de treinamento para treinar em qualquer Dados da Tarefa para pontos -chave no formato MSCOCO. Isso significa que você pode experimentar o treinamento de tarefas de detecção de ponto -chave além da pose humana.

Para começar, siga as instruções abaixo. Se você tiver algum problema, informe -nos.

Começando

Para começar com trt_pose, siga estas etapas.

Etapa 1 - Instale dependências

1. Instale Pytorch e Torchvision. Para fazer isso na Nvidia Jetson, recomendamos seguir este guia

2. Instale o Torch2trt

    git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
   cd torch2trt
   sudo python3 setup . py install - - plugins

3. Instale outros pacotes diversos

    sudo pip3 install tqdm cython pycocotools
   sudo apt - get install python3 - matplotlib

Etapa 2 - Instale trt_pose

 git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py install

Etapa 3 - Execute o Notebook Exemplo

Fornecemos alguns modelos de estimativa de pose humana pré-treinados no conjunto de dados do MSCOCO. A taxa de transferência no FPS é mostrada para cada plataforma

Modelo	Jetson Nano	Jetson Xavier	Pesos
resnet18_baseline_att_224x224_a	22	251	Download (81MB)
DENSENET121_BASELEL_ATT_256X256_B	12	101	Download (84 MB)

Para executar a demonstração do Live Jupyter Notebook na entrada da câmera em tempo real, siga estas etapas

1. Faça o download dos pesos do modelo usando o link na tabela acima.

2. Coloque os pesos baixados no diretório Tarefas/Human_pose

3. Abra e siga o notebook Live_Demo.ipynb

   Pode ser necessário modificar o notebook, dependendo do modelo que você usa

Veja também

• trt_pose_hand - estimativa de pose de mão em tempo real com base em trt_pose

• TORCH2TRT - Um conversor fácil de usar Pytorch to Tensorrt

• Jetbot - um robô educacional de IA baseado no Nvidia Jetson Nano

• Jetracer - um carro de corrida educacional da IA usando Nvidia Jetson Nano

• Jetcam - Uma interface de câmera Python fácil de usar para Nvidia Jetson

Referências

As arquiteturas do modelo TRT_POST listadas acima são inspiradas nos seguintes obras, mas não são uma réplica direta. Revise os arquivos de código e configuração de código aberto neste repositório para obter detalhes da arquitetura. Se você tiver alguma dúvida, fique à vontade para alcançar.

• Cao, Zhe, et al. "Estimativa de pose 2D em tempo real em tempo real usando campos de afinidade de peça". Anais da conferência IEEE sobre visão computacional e reconhecimento de padrões. 2017.

• Xiao, Bin, Haiping Wu e Yichen Wei. "Linhas de base simples para estimativa e rastreamento da pose humana". Anais da Conferência Europeia sobre Visão Computal (ECCV). 2018.