tsn pytorch

TSN-Pytorch

Мы выпустили MMAction, полноценный набор инструментов для понимания действий на основе Pytorch. Он включает в себя реализацию для TSN, а также другие фреймворки STOA для различных задач. Уроки, которые мы усвоили в этом репо, включены в MMACTION, чтобы сделать его бледным. Мы настоятельно рекомендуем вам переключиться на него. Это репо останется здесь для исторических ссылок.

Примечание . Всегда используйте git clone --recursive https://github.com/yjxiong/tsn-pytorch чтобы клонировать этот проект. В противном случае вы не сможете использовать серии «Начало серии» CNN Archs.

Это повторная индивидуальная сети сегментов (TSN) в Pytorch. Все настройки сохраняются идентичны исходной реализации Caffe.

Для извлечения оптического потока и генерации списков видео вам все равно необходимо использовать исходную кодовую базу TSN.

Обучение

Чтобы тренировать новую модель, используйте сценарий main.py

Команда воспроизведения исходных экспериментов TSN по модальности RGB на UCF101 может быть

python main.py ucf101 RGB < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 30 60 --epochs 80 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

Для моделей потока:

python main.py ucf101 Flow < ucf101_flow_train_list > < ucf101_flow_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 190 300 --epochs 340 
   -b 128 -j 8 --dropout 0.7 
   --snapshot_pref ucf101_bninception_ --flow_pref flow_  

Для моделей RGB-DIFF:

python main.py ucf101 RGBDiff < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 7 
   --gd 40 --lr 0.001 --lr_steps 80 160 --epochs 180 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

Тестирование

После обучения будут сохранены контрольные точки Pytorch, например, ucf101_bninception_rgb_checkpoint.pth .

Используйте следующую команду, чтобы проверить его производительность в стандартном протоколе тестирования TSN:

python test_models.py ucf101 RGB < ucf101_rgb_val_list > ucf101_bninception_rgb_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name >

Или для моделей потока:

python test_models.py ucf101 Flow < ucf101_rgb_val_list > ucf101_bninception_flow_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name > --flow_pref flow_