video classification 3d cnn pytorch

Классификация видео с использованием 3D Resnet

Это код Pytorch для классификации видео (действия) с использованием 3D Resnet, обученного этим кодом.
3D Resnet обучается на наборе данных кинетики, который включает в себя 400 классов действий.
Этот код использует видео в качестве входных и выходных имен классов и предсказанные оценки классов для каждого 16 кадров в режиме оценки.
В режиме функции этот код выводит функции 512 DIMS (после среднего глобального объединения) для каждого 16 кадров.

Версия этого кода Torch (LUA) доступна здесь.

Требования

• Пирог

 conda install pytorch torchvision cuda80 -c soumith

• Ffmpeg, ffprobe

 wget http://johnvansickle.com/ffmpeg/releases/ffmpeg-release-64bit-static.tar.xz
tar xvf ffmpeg-release-64bit-static.tar.xz
cd ./ffmpeg-3.3.3-64bit-static/; sudo cp ffmpeg ffprobe /usr/local/bin;

• Питон 3

Подготовка

• Загрузите этот код.
• Загрузите предварительную модель.
  • Resnext-101 достиг наилучшей работы в наших экспериментах. (См. Подробности.)

Использование

Предположим, что входные видеофайлы расположены в ./videos .

Чтобы вычислять классовые оценки для каждого 16 кадров, используйте --mode score .

 python main.py --input ./input --video_root ./videos --output ./output.json --model ./resnet-34-kinetics.pth --mode score

Чтобы визуализировать результаты классификации, используйте generate_result_video/generate_result_video.py .

Чтобы вычислять функции видео для каждого 16 кадров, используйте --mode feature .

 python main.py --input ./input --video_root ./videos --output ./output.json --model ./resnet-34-kinetics.pth --mode feature

Цитирование

Если вы используете этот код, указать следующее:

 @article{hara3dcnns,
  author={Kensho Hara and Hirokatsu Kataoka and Yutaka Satoh},
  title={Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet?},
  journal={arXiv preprint},
  volume={arXiv:1711.09577},
  year={2017},
}