two stream action recognition

两流动识别

我们使用带有RESNET101的空间和运动流CNN在UCF101数据集中对视频信息进行建模。

参考文件

• [1]在视频中进行行动识别的两流卷积网络
• [2]时间段网络：迈向深入行动识别的良好实践
• [3] TS-LSTM和时间启动：利用时空动力学进行活动识别

1。数据

1.1空间输入数据 - > RGB帧

• 我们从UCF101数据集中的每个视频中提取RGB帧，并以抽样率：10提取，并将其作为.jpg图像保存在磁盘中，费用约为5.9g。

1.2运动输入数据 - >堆叠的光流图像

在运动流中，我们使用两种方法获取光流数据。

1. 直接从https://github.com/feichtenhofer/twostreamfusion下载预处理的TVL1光流数据集。
2. 使用Flownet2.0方法生成2通道光流图像，并将其X，Y通道分别作为.jpg图像在磁盘中分别保存为.jpg图像，其成本约为56克。

1.3（替代）直接从Feichtenhofer/TwoStreamFusion下载预处理数据）

• RGB图像

 wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.001
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.002
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.003

cat ucf101_jpegs_256.zip* > ucf101_jpegs_256.zip
unzip ucf101_jpegs_256.zip

• 光流

 wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.001
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.002
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.003

cat ucf101_tvl1_flow.zip* > ucf101_tvl1_flow.zip
unzip ucf101_tvl1_flow.zip

2。型号

2.1空间CNN

• 如前所述，我们使用RESNET101首先对Imagenet进行预训练，然后在UCF101空间RGB图像数据集上进行微调。

2.2运动CNN

• 运动CNN的输入数据是一堆光流图像，其中包含10个X通道和10个Y通道图像，因此它的输入形状为（20，224，224），可以将其视为20通道图像。
• 为了在模型上利用Imagenet预先训练的重量，我们必须将预先训练的第一个卷积层的权重从（64、3、7、7）预先训练，从（64、3、7、7）到（64、20、7、7）。
• 在[2]中提供了一种称为**交叉模态的方法

**进行这样的权重变形。他首先是在RGB通道上的重量值，并根据运动流输入的通道数量复制此平均值（这是20个情况）

3。培训策略

3.1空间CNN

• 在这里，我们在时间段网络中利用这些技术。对于迷你批次中的每个视频，我们从每个视频中随机选择3帧。然后，将在框架之间达成共识，作为计算损失的视频级别预测。

3.2运动CNN

• 在每个迷你批次中，我们从9537培训视频中随机选择64个（批量尺寸）视频，并在每个视频中随机选择1个堆叠的光流。

3.3数据增强

• 两者都采用相同的数据增强技术，例如随机种植。

4。测试方法

• 对于每3783个测试视频，我们在每个视频中均匀地对19帧进行了审查，视频级别的预测是所有19个帧级预测的投票结果。
• 我们之所以选择数字19的原因是，UCF101中的视频帧数为28，我们必须确保有足够的框架在10个堆栈运动流中进行测试。

5。表演

网络	top1
空间CNN	82.1％
运动CNN	79.4％
平均融合	88.5％

6。预训练的模型

• 空间resnet101
• 运动resnet101

7。在您的设备上进行测试

空间流

• 请修改此路径和此功能，以适合您设备上的UCF101数据集。
• 培训和测试

 python spatial_cnn.py --resume PATH_TO_PRETRAINED_MODEL

• 仅测试

 python spatial_cnn.py --resume PATH_TO_PRETRAINED_MODEL --evaluate

运动流

• 请修改此路径和此功能，以适合您设备上的UCF101数据集。
• 培训和测试

 python motion_cnn.py --resume PATH_TO_PRETRAINED_MODEL

• 仅测试

 python motion_cnn.py --resume PATH_TO_PRETRAINED_MODEL --evaluate