tsn pytorch

tsn-pytorch

Pytorchに基づいた本格的なアクション理解ツールボックスであるMmactionをリリースしました。これには、TSNの実装と、さまざまなタスクの他のSTOAフレームワークが含まれます。このリポジトリで学んだ教訓は、マクションに組み込まれて、それをベッターにします。私たちはあなたがそれに切り替えることを強くお勧めします。このレポは、歴史的な参照のためにここに残ります。

注：常にgit clone --recursive https://github.com/yjxiong/tsn-pytorch使用して、このプロジェクトをクローンします。それ以外の場合は、InceptionシリーズCNNアーチを使用できません。

これは、Pytorchの時間セグメントネットワーク（TSN）の再実装です。すべての設定は、元のCaffe実装と同一に保たれます。

光フロー抽出とビデオリストの生成の場合、元のTSNコードベースを使用する必要があります。

トレーニング

新しいモデルをトレーニングするには、 main.pyスクリプトを使用します。

UCF101でのRGBモダリティの元のTSN実験を再現するコマンドは

python main.py ucf101 RGB < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 30 60 --epochs 80 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

フローモデルの場合：

python main.py ucf101 Flow < ucf101_flow_train_list > < ucf101_flow_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 190 300 --epochs 340 
   -b 128 -j 8 --dropout 0.7 
   --snapshot_pref ucf101_bninception_ --flow_pref flow_  

RGB-Diffモデルの場合：

python main.py ucf101 RGBDiff < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 7 
   --gd 40 --lr 0.001 --lr_steps 80 160 --epochs 180 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

テスト

トレーニング後、Pytorch、たとえばucf101_bninception_rgb_checkpoint.pthによって保存されたチェックポイントがあります。

次のコマンドを使用して、標準のTSNテストプロトコルでそのパフォーマンスをテストします。

python test_models.py ucf101 RGB < ucf101_rgb_val_list > ucf101_bninception_rgb_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name >

またはフローモデルの場合：

python test_models.py ucf101 Flow < ucf101_rgb_val_list > ucf101_bninception_flow_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name > --flow_pref flow_