简介：本文是2015年CVPR上一篇关于将CNN用于optical flow估计的文章；创新之处在于首次将监督学习的CNN用于光流估计；并且针对ground truth数据集不足的问题，提出了Flying Chairs datasets
摘要
1.本文提出的CNN估计光流，是监督学习方法。
2.提出了两种网络结构：
1）普通CNN结构
2）带有Corr layer的CNN结构
3.针对现有的监督学习数据集不足的问题，合成了flying chairs数据集
4.实验表明：利用合成训练集训练的网络面对真实数据KITTI，Sintel时，也有不错的表现效果。
网络结构
1.CNN的pooling导致分辨率的下降，希望输出dense flow就必须对pooling之后的feature map进行refine；本文提出的方法，通过contracting part进行特征提取，通过expanding part去refine提高分辨率。
2.contracting part（包含pooling的压缩层）：
1）FlowNetSimple：两幅图片一起输入，让网络自己学习如何处理；即最原始的CNN结构
2）FlowNetCorr：两幅图片分别输入后在通过Corr layer汇合，汇合之后网络层的作用类似与匹配。
3.Corr layer的匹配功能描述：
1）输入：f1，f2两张特征图whc
2）处理过程：将f1中的每一个patch与f2中的每一个patch作对比。如下：x1是来自f1的patch，x2是来自f2的patch，两者的相关性用以下公式衡量
这个公式本质上是一个卷积层，只不过卷积层的权重变成了x2，即feature map的数据块。
对f1，f2所有图像块的处理，涉及大量的运算，不利于实时性；因此为了简化运算，只比较一定位移范围内的patch（大位移匹配的可能性不大）。
3）简化运算过程：最大位移量为d；对于x1的patch，只计算x2对应位置2d+1邻域内的patch。
4）输出：whD2每一个位置都有一个D2向量；为了反向传播本文实现了此层的导数。
4.expanding part
简介：由upconvolutional层组成：unpooling+convolution；
1）处理过程：为了refine，将①upconv之后的feature map+②contracting之后的feature map+③超分辨的光流粗估计map进行concatenate；
2）进行concatenate的目的：CNN深层的layer感受野越大，信息越global；浅层的layer感受野越小，信息越local；将深层的coarse map提供的global信息与浅层的layer提供的local信息进行组合。
3）输出：输出的分辨率为原图像分辨率的1/4；
4）如果继续使用expanding part带来的效果不如使用双线性插值法。
4.变分细化：结合了一部分传统方法
简介：另一种方法中，没有使用双线性插值，而是使用的传统变分方法来提高分辨率。
1）输入：原图1/4分辨率的光流图
2）处理过程：[6]中的粗到精的方法迭代20次；对最终分辨率的图像迭代5次；
3）特点：相对于双线性插值，计算量更大；但是最终获得的光流图效果更好。
训练数据集
1.现有数据集
1）Middlebury：仅有8对，并且是小位移；
2）KITTI：数据量丰富，包含大位移；来源于真实世界；假设场景为刚体并且从移动的观测设备是拍摄得到；由于远距离物体移动量小，所以获得的光流是稀疏的；
3）Sintel：从合成场景中获取的ground-truth，合成场景具有许多真实场景的性质；第一个版本：包含运动模糊、雾霾等环境影响；
第二个版本：不包含以上影响。
2.本文提出的Flying Chairs