tsn pytorch

tsn-pytorch

我們發布了MMACTION，這是一種基於Pytorch的完整動作理解工具箱。它包括針對TSN以及其他STOA框架的實施。我們在此存儲庫中學到的教訓被整合到mmAction中，以使其成為賭注。我們強烈建議您切換到它。此存儲庫將留在這裡進行歷史參考。

注意：始終使用git clone --recursive https://github.com/yjxiong/tsn-pytorch克隆這個項目。否則，您將無法使用Inception系列CNN Archs。

這是pytorch中時間段網絡（TSN）的重新實現。所有設置都與原始的CAFFE實施相同。

對於光流提取和視頻列表的生成，您仍然需要使用原始的TSN代碼庫。

訓練

要訓練新模型，請使用main.py腳本。

在UCF101上重現RGB模式的原始TSN實驗的命令可以是

python main.py ucf101 RGB < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 30 60 --epochs 80 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

對於流模型：

python main.py ucf101 Flow < ucf101_flow_train_list > < ucf101_flow_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 190 300 --epochs 340 
   -b 128 -j 8 --dropout 0.7 
   --snapshot_pref ucf101_bninception_ --flow_pref flow_  

對於RGB-DIFF模型：

python main.py ucf101 RGBDiff < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 7 
   --gd 40 --lr 0.001 --lr_steps 80 160 --epochs 180 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

測試

訓練後，將由Pytorch保存的檢查點，例如ucf101_bninception_rgb_checkpoint.pth 。

使用以下命令在標準TSN測試協議中測試其性能：

python test_models.py ucf101 RGB < ucf101_rgb_val_list > ucf101_bninception_rgb_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name >

或用於流模型：

python test_models.py ucf101 Flow < ucf101_rgb_val_list > ucf101_bninception_flow_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name > --flow_pref flow_