two stream action recognition

兩流動識別

我們使用帶有RESNET101的空間和運動流CNN在UCF101數據集中對視頻信息進行建模。

參考文件

• [1]在視頻中進行行動識別的兩流卷積網絡
• [2]時間段網絡：邁向深入行動識別的良好實踐
• [3] TS-LSTM和時間啟動：利用時空動力學進行活動識別

1。數據

1.1空間輸入數據 - > RGB幀

• 我們從UCF101數據集中的每個視頻中提取RGB幀，並以抽樣率：10提取，並將其作為.jpg圖像保存在磁盤中，費用約為5.9g。

1.2運動輸入數據 - >堆疊的光流圖像

在運動流中，我們使用兩種方法獲取光流數據。

1. 直接從https://github.com/feichtenhofer/twostreamfusion下載預處理的TVL1光流數據集。
2. 使用Flownet2.0方法生成2通道光流圖像，並將其X，Y通道分別作為.jpg圖像在磁盤中分別保存為.jpg圖像，其成本約為56克。

1.3（替代）直接從Feichtenhofer/TwoStreamFusion下載預處理數據）

• RGB圖像

 wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.001
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.002
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.003

cat ucf101_jpegs_256.zip* > ucf101_jpegs_256.zip
unzip ucf101_jpegs_256.zip

• 光流

 wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.001
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.002
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.003

cat ucf101_tvl1_flow.zip* > ucf101_tvl1_flow.zip
unzip ucf101_tvl1_flow.zip

2。型號

2.1空間CNN

• 如前所述，我們使用RESNET101首先對Imagenet進行預訓練，然後在UCF101空間RGB圖像數據集上進行微調。

2.2運動CNN

• 運動CNN的輸入數據是一堆光流圖像，其中包含10個X通道和10個Y通道圖像，因此它的輸入形狀為（20，224，224），可以將其視為20通道圖像。
• 為了在模型上利用Imagenet預先訓練的重量，我們必須將預先訓練的第一個卷積層的權重從（64、3、7、7）預先訓練，從（64、3、7、7）到（64、20、7、7）。
• 在[2]中提供了一種稱為**交叉模態的方法

**進行這樣的權重變形。他首先是在RGB通道上的重量值，並根據運動流輸入的通道數量複製此平均值（這是20個情況）

3。培訓策略

3.1空間CNN

• 在這裡，我們在時間段網絡中利用這些技術。對於迷你批次中的每個視頻，我們從每個視頻中隨機選擇3幀。然後，將在框架之間達成共識，作為計算損失的視頻級別預測。

3.2運動CNN

• 在每個迷你批次中，我們從9537培訓視頻中隨機選擇64個（批量尺寸）視頻，並在每個視頻中隨機選擇1個堆疊的光流。

3.3數據增強

• 兩者都採用相同的數據增強技術，例如隨機種植。

4。測試方法

• 對於每3783個測試視頻，我們在每個視頻中均勻地對19幀進行了審查，視頻級別的預測是所有19個幀級預測的投票結果。
• 我們之所以選擇數字19的原因是，UCF101中的視頻幀數為28，我們必須確保有足夠的框架在10個堆棧運動流中進行測試。

5。表演

網絡	top1
空間CNN	82.1％
運動CNN	79.4％
平均融合	88.5％

6。預訓練的模型

• 空間resnet101
• 運動resnet101

7。在您的設備上進行測試

空間流

• 請修改此路徑和此功能，以適合您設備上的UCF101數據集。
• 培訓和測試

 python spatial_cnn.py --resume PATH_TO_PRETRAINED_MODEL

• 僅測試

 python spatial_cnn.py --resume PATH_TO_PRETRAINED_MODEL --evaluate

運動流

• 請修改此路徑和此功能，以適合您設備上的UCF101數據集。
• 培訓和測試

 python motion_cnn.py --resume PATH_TO_PRETRAINED_MODEL

• 僅測試

 python motion_cnn.py --resume PATH_TO_PRETRAINED_MODEL --evaluate