tsn pytorch

Tsn-pytorch

Kami telah merilis MMACTION, sebuah kotak alat pemahaman tindakan penuh berdasarkan Pytorch. Ini termasuk implementasi untuk TSN serta kerangka kerja STOA lainnya untuk berbagai tugas. Pelajaran yang kami pelajari dalam repo ini dimasukkan ke dalam mMAction untuk membuatnya lebih baik. Kami sangat menyarankan Anda beralih ke sana. Repo ini akan tetap di sini untuk referensi sejarah.

Catatan : Selalu gunakan git clone --recursive https://github.com/yjxiong/tsn-pytorch untuk mengkloning proyek ini. Kalau tidak, Anda tidak akan dapat menggunakan Seri Inception CNN Archs.

Ini adalah penerimaan ulang jaringan segmen temporal (TSN) di Pytorch. Semua pengaturan tetap identik dengan implementasi Caffe asli.

Untuk ekstraksi aliran optik dan pembuatan daftar video, Anda masih perlu menggunakan basis kode TSN asli.

Pelatihan

Untuk melatih model baru, gunakan skrip main.py

Perintah untuk mereproduksi eksperimen TSN asli dari modalitas RGB pada UCF101 bisa

python main.py ucf101 RGB < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 30 60 --epochs 80 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

Untuk model aliran:

python main.py ucf101 Flow < ucf101_flow_train_list > < ucf101_flow_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 190 300 --epochs 340 
   -b 128 -j 8 --dropout 0.7 
   --snapshot_pref ucf101_bninception_ --flow_pref flow_  

Untuk model RGB-Diff:

python main.py ucf101 RGBDiff < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 7 
   --gd 40 --lr 0.001 --lr_steps 80 160 --epochs 180 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

Pengujian

Setelah pelatihan, akan ada pos pemeriksaan yang disimpan oleh Pytorch, misalnya ucf101_bninception_rgb_checkpoint.pth .

Gunakan perintah berikut untuk menguji kinerjanya dalam protokol pengujian TSN standar:

python test_models.py ucf101 RGB < ucf101_rgb_val_list > ucf101_bninception_rgb_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name >

Atau untuk model aliran:

python test_models.py ucf101 Flow < ucf101_rgb_val_list > ucf101_bninception_flow_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name > --flow_pref flow_