trt_pose

trt_pose

손 포즈를 감지하고 싶습니까? 실시간 핸드 포즈 및 제스처 인식에 대한 새로운 TRT_POSE_HAND 프로젝트를 확인하십시오!

TRT_POSE는 NVIDIA JetSon에서 실시간 포즈 추정을 가능하게하는 것을 목표로합니다. 다른 NVIDIA 플랫폼에도 유용 할 수 있습니다. 현재 프로젝트에는 포함됩니다

• Jetson Nano에서 실시간으로 실행할 수있는 인간 포즈 추정을위한 미리 훈련 된 모델. 이렇게하면 left_eye , left_elbow , right_ankle 등과 같은 기능을 쉽게 감지 할 수 있습니다.

• 스크립트 스크립트는 MSCoco 형식의 키패 포인트 작업 데이터를 교육합니다. 즉, 인간 포즈 이외의 키패 포인트 감지 작업을 위해 TRT_POSE를 교육 할 수 있습니다.

시작하려면 아래 지침을 따르십시오. 문제가 발생하면 알려주십시오.

시작하기

trt_pose를 시작하려면 다음 단계를 따르십시오.

1 단계 - 종속성을 설치합니다

1. Pytorch 및 Torchvision을 설치하십시오. Nvidia Jetson 에서이 작업을 수행하려면이 안내서를 따르는 것이 좋습니다.

2. Torch2trt를 설치하십시오

    git clone https : // github . com / NVIDIA - AI - IOT / torch2trt
   cd torch2trt
   sudo python3 setup . py install - - plugins

3. 다른 기타 패키지를 설치하십시오

    sudo pip3 install tqdm cython pycocotools
   sudo apt - get install python3 - matplotlib

2 단계 - trt_pose를 설치하십시오

 git clone https : // github . com / NVIDIA - AI - IOT / trt_pose
cd trt_pose
sudo python3 setup . py install

3 단계 - 예제 노트를 실행하십시오

우리는 MSCOCO 데이터 세트에서 미리 훈련 된 두 개의 인간 자세 추정 모델을 제공합니다. FPS의 처리량은 각 플랫폼에 대해 표시됩니다

모델	제트슨 나노	Jetson Xavier	무게
RESNET18_BASELES_ATT_224X224_A	22	251	다운로드 (81MB)
Densenet121_BASELEN_ATT_ATT_256X256_B	12	101	다운로드 (84MB)

실시간 카메라 입력에서 라이브 Jupyter 노트북 데모를 실행하려면 다음 단계를 따르십시오.

1. 위 표에서 링크를 사용하여 모델 가중치를 다운로드하십시오.

2. 다운로드 된 가중치를 작업/Human_pose 디렉토리에 배치하십시오

3. live_demo.ipynb 노트북을 열고 팔로우하십시오

   사용하는 모델에 따라 노트북을 수정해야 할 수도 있습니다.

참조하십시오

• trt_pose_hand- TRT_POSE를 기반으로 한 실시간 핸드 포즈 추정

• Torch2trt- 사용하기 쉬운 pytorch to tensorrt 변환기

• JETBOT- Nvidia Jetson Nano를 기반으로 한 교육 AI 로봇

• Jetracer- Nvidia Jetson Nano를 사용한 교육 AI Racecar

• JETCAM- NVIDIA JETSON 용 사용하기 쉬운 파이썬 카메라 인터페이스

참조

위에 나열된 TRT_POSE 모델 아키텍처는 다음 작품에서 영감을 얻지 만 직접 복제본은 아닙니다. 아키텍처 세부 정보는이 저장소에서 오픈 소스 코드 및 구성 파일을 검토하십시오. 궁금한 점이 있으면 자유롭게 연락하십시오.

• Cao, Zhe 등 "부품 친화력 필드를 사용한 실시간 다중 인 2D 포즈 추정." 컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의의 절차. 2017.

• Xiao, Bin, Haiping Wu 및 Yichen Wei. "인간 포즈 추정 및 추적을위한 간단한 기준선." 컴퓨터 비전에 관한 유럽 회의 (ECCV)의 절차. 2018.