tsn pytorch

TSN-Pytorch

Wir haben MMACTION veröffentlicht, eine vollwertige TOOLBOX des Action verstehen, die auf Pytorch basiert. Es umfasst die Implementierung für TSN sowie andere STOA -Frameworks für verschiedene Aufgaben. Die Lektionen, die wir in diesem Repo gelernt haben, sind in MMACTION aufgenommen, um es Bettter zu machen. Wir empfehlen Ihnen dringend, darauf zu wechseln. Dieses Repo wird hier für historische Referenzen bleiben.

Hinweis : Verwenden Sie immer git clone --recursive https://github.com/yjxiong/tsn-pytorch um dieses Projekt zu klonen. Andernfalls können Sie die CNN -Bogen der Inception -Serie nicht verwenden.

Dies ist eine Neuimplementierung von temporalen Segmentnetzwerken (TSN) in Pytorch. Alle Einstellungen werden mit der ursprünglichen Caffe -Implementierung identisch gehalten.

Für die optische Flow -Extraktion und die Videolistegenerierung müssen Sie weiterhin die ursprüngliche TSN -Codebasis verwenden.

Ausbildung

Verwenden Sie zum Trainieren eines neuen Modells das Hauptskript main.py

Der Befehl zur Reproduktion der ursprünglichen TSN -Experimente der RGB -Modalität auf UCF101 kann sein

python main.py ucf101 RGB < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 30 60 --epochs 80 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

Für Flussmodelle:

python main.py ucf101 Flow < ucf101_flow_train_list > < ucf101_flow_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 190 300 --epochs 340 
   -b 128 -j 8 --dropout 0.7 
   --snapshot_pref ucf101_bninception_ --flow_pref flow_  

Für RGB-DIFF-Modelle:

python main.py ucf101 RGBDiff < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 7 
   --gd 40 --lr 0.001 --lr_steps 80 160 --epochs 180 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

Testen

Nach dem Training werden Checkpoints von Pytorch gespeichert, z ucf101_bninception_rgb_checkpoint.pth

Verwenden Sie den folgenden Befehl, um seine Leistung im Standard -TSN -Testprotokoll zu testen:

python test_models.py ucf101 RGB < ucf101_rgb_val_list > ucf101_bninception_rgb_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name >

Oder für Flussmodelle:

python test_models.py ucf101 Flow < ucf101_rgb_val_list > ucf101_bninception_flow_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name > --flow_pref flow_