tsn pytorch

Tsn-Pytorch

우리는 Pytorch를 기반으로 한 본격적인 액션 이해 도구 상자 인 MMAction을 출시했습니다. 여기에는 TSN에 대한 구현 및 다양한 작업에 대한 다른 STOA 프레임 워크가 포함됩니다. 우리 가이 리포지토리에서 배운 교훈은 mmaction에 통합되어 그것을 베팅하는 것입니다. 전환하는 것이 좋습니다. 이 저장소는 역사적 참조를 위해 여기에 남아있을 것입니다.

참고 : 항상 git clone --recursive https://github.com/yjxiong/tsn-pytorch 사용 하여이 프로젝트를 복제하십시오. 그렇지 않으면 Inception 시리즈 CNN 아치를 사용할 수 없습니다.

이것은 Pytorch의 The Temperal Segment Networks (TSN)의 상환입니다. 모든 설정은 원래 카페 구현과 동일하게 유지됩니다.

광학 흐름 추출 및 비디오 목록 생성의 경우 원래 TSN 코드베이스를 사용해야합니다.

훈련

새 모델을 훈련 시키려면 main.py 스크립트를 사용하십시오.

UCF101에서 RGB 양식의 원래 TSN 실험을 재현하라는 명령은

python main.py ucf101 RGB < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 30 60 --epochs 80 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

흐름 모델 용 :

python main.py ucf101 Flow < ucf101_flow_train_list > < ucf101_flow_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 190 300 --epochs 340 
   -b 128 -j 8 --dropout 0.7 
   --snapshot_pref ucf101_bninception_ --flow_pref flow_  

RGB-DIFF 모델의 경우 :

python main.py ucf101 RGBDiff < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 7 
   --gd 40 --lr 0.001 --lr_steps 80 160 --epochs 180 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

테스트

훈련 후 Pytorch가 저장 한 체크 포인트 (예 : ucf101_bninception_rgb_checkpoint.pth 가 저장됩니다.

다음 명령을 사용하여 표준 TSN 테스트 프로토콜에서 성능을 테스트하십시오.

python test_models.py ucf101 RGB < ucf101_rgb_val_list > ucf101_bninception_rgb_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name >

또는 흐름 모델의 경우 :

python test_models.py ucf101 Flow < ucf101_rgb_val_list > ucf101_bninception_flow_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name > --flow_pref flow_