天天看点

光流

Lucas–Kanade算法:

它计算两帧在时间t 到t + δt之间每个每个像素点位置的移动。 由于它是基于图像信号的泰勒级数,这种方法称为差分,这就是对于空间和时间坐标使用偏导数。

图像约束方程可以写为I (x ,y ,z ,t ) = I (x + δx ,y + δy ,z + δz ,t + δt )

I(x, y,z, t) 为在(x,y,z)位置的体素。

我们假设移动足够的小,那么对图像约束方程使用泰勒公式,我们可以得到:

光流

H.O.T. 指更高阶,在移动足够小的情况下可以忽略。从这个方程中我们可以得到:

光流

或者

光流

我们得到:

光流

V x ,V y ,V z 分别是I(x,y,z,t)的光流向量中x,y,z的组成。 

光流

光流

光流

和 

光流

则是图像在(x ,y ,z ,t )这一点向相应方向的差分 。

所以

I x V x + I y V y + I z V z = − I t。

写做:

光流

这个方程有三个未知量,尚不能被解决,这也就是所谓光流算法的光圈问题。那么要找到光流向量则需要另一套解决的方案。而Lucas-Kanade算法是一个非迭代的算法:

假设流(Vx,Vy,Vz)在一个大小为m*m*m(m>1)的小窗中是一个常数,那么从像素1...n , n = m 3 中可以得到下列一组方程:

光流
光流
光流
光流

三个未知数但是有多于三个的方程,这个方程组自然是个超定方程,也就是说方程组内有冗余,方程组可以表示为:

光流

记作:

光流

为了解决这个超定问题,我们采用最小二乘法:

光流

or

光流

得到:

光流

其中的求和是从1到n。

这也就是说寻找光流可以通过在四维上图像导数的分别累加得出。我们还需要一个权重函数W(i, j,k) , 

光流

来突出窗口中心点的坐标。高斯函数做这项工作是非常合适的,

这个算法的不足在于它不能产生一个密度很高的流向量,例如在运动的边缘和黑大的同质区域中的微小移动方面流信息会很快的褪去。它的优点在于有噪声存在的鲁棒性还是可以的。

补充:opencv里实现的看上去蛮复杂,其中LK经典算法也是迭代法,是由高斯迭代法解线性方程组进行迭代的。

参考文献:Lucas B and Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision. Proc. Of 7th International Joint Conference on Artificial Intelligence (IJCAI), pp.674-679.是81年发表的。

opencv中实现的是84年发表的算法

参考文献:Bruce D. Lucas , "Generalized Image Matching by the Method of Differences," doctoral dissertation, tech. report , Robotics Institute, Carnegie Mellon University, July, 1984

https://www.cnblogs.com/gnuhpc/archive/2012/12/04/2802124.html

http://www.cnblogs.com/jason-wyf/p/6181076.html