tsn pytorch

TSN-Pytorch

لقد أصدرنا MMACTION ، صندوق أدوات فهم الإجراءات الكاملة على أساس PYTORCH. ويشمل تنفيذ TSN وكذلك أطر أخرى STOA لمهام مختلفة. يتم دمج الدروس التي تعلمناها في هذا الريبو في MmAction لجعله يراهن. نوصي بشدة بالتبديل إليه. سيبقى هذا الريبو هنا للمراجع التاريخية.

ملاحظة : استخدم دائمًا git clone --recursive https://github.com/yjxiong/tsn-pytorch لاستنساخ هذا المشروع. وإلا فلن تتمكن من استخدام سلسلة Inception Series CNN.

هذا هو إعادة تنفيذ شبكات القطاعات الزمنية (TSN) في Pytorch. يتم الحفاظ على جميع الإعدادات متطابقة مع تنفيذ الكافيين الأصلي.

لتوليد استخراج التدفق البصري وتوليد قائمة الفيديو ، لا تزال بحاجة إلى استخدام قاعدة كود TSN الأصلية.

تمرين

لتدريب نموذج جديد ، استخدم البرنامج النصي main.py .

يمكن أن يكون الأمر لإعادة إنتاج تجارب TSN الأصلية لطريقة RGB على UCF101

python main.py ucf101 RGB < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 30 60 --epochs 80 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

لنماذج التدفق:

python main.py ucf101 Flow < ucf101_flow_train_list > < ucf101_flow_val_list > 
   --arch BNInception --num_segments 3 
   --gd 20 --lr 0.001 --lr_steps 190 300 --epochs 340 
   -b 128 -j 8 --dropout 0.7 
   --snapshot_pref ucf101_bninception_ --flow_pref flow_  

لنماذج RGB-DIFF:

python main.py ucf101 RGBDiff < ucf101_rgb_train_list > < ucf101_rgb_val_list > 
   --arch BNInception --num_segments 7 
   --gd 40 --lr 0.001 --lr_steps 80 160 --epochs 180 
   -b 128 -j 8 --dropout 0.8 
   --snapshot_pref ucf101_bninception_ 

الاختبار

بعد التدريب ، سيتم حفظ نقاط التفتيش بواسطة Pytorch ، على سبيل المثال ucf101_bninception_rgb_checkpoint.pth .

استخدم الأمر التالي لاختبار أدائه في بروتوكول اختبار TSN القياسي:

python test_models.py ucf101 RGB < ucf101_rgb_val_list > ucf101_bninception_rgb_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name >

أو لنماذج التدفق:

python test_models.py ucf101 Flow < ucf101_rgb_val_list > ucf101_bninception_flow_checkpoint.pth 
   --arch BNInception --save_scores < score_file_name > --flow_pref flow_