天天看点

Two-Stream Convolutional Networks for Action Recognition in Videos

下载地址:http://www.datascienceassn.org/sites/default/files/Two-Stream%20Convolutional%20Networks%20for%20Action%20Recognition%20in%20Videos.pdf

What’s problem?

这篇论文主要是介绍了一种新的视频卷积的方法,并且将其应用于UCF-101和HMDB-51数据集中进行行为分类问题,取得了很好的效果。

What’s the challenges?

视频处理中,不但要考虑单帧的情况,也需要考虑各帧之前的相关性,即要处理空间和时间的信息。

What’s the STOA?

论文中提出了新的神经网络结构(双流卷积神经网络),其中一个网络处理静止图片的卷积,另一卷积网络处理光流图的卷积,然后对两个网络的分类结果加权融合,得到最终的分类结果。

What’s the proposed solution?

Two-Stream Convolutional Networks for Action Recognition in Videos
Two-Stream Convolutional Networks for Action Recognition in Videos

What’s the performance of the proposed solution?

Two-Stream Convolutional Networks for Action Recognition in Videos
Two-Stream Convolutional Networks for Action Recognition in Videos

Conclusion

这篇论文的主要贡献是:

  • 提出了双流卷积的网络结构;
  • 将静止帧和多帧的稠密光流分别卷积,从而分离了视频的空间和时间两个维度。
  • 因为vggnet网络很深,所以需要的数据量很大,所以作者结合了两个数据集来训练网络,取得了结果的优化。

继续阅读