python运动目标检测_运动目标检测(3)—光流法

光流法利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性，根据上一帧与当前帧之间的对应关系，计算得到相邻帧之间物体的运动信息。

二十世纪五十年代心理学家Gibson在他的著作“The Perception of Visual World”中首次提出了以心理学实验为基础的光流法基本概念，而直到八十年代才由Horn、Kanade、Lucash和Schunck创造性地将灰度与二维速度场相联系，引入光流约束方程的算法，对光流计算做了奠基性的工作。

在实际测试中，虽然它能检测运动目标的整个区域，适用于摄像机静止和运动情况，但大多数的光流计算方法计算量巨大，结构复杂，且易受光照、物体遮挡或图像噪声的影响，鲁棒性差，故一般不被对精度和实时性要求比较高的监控系统所采用。

五帧光流场向量

上图显示了一个点在连续的五帧图像间的移动。箭头表示光流场向量。光流在很多领域中都很有用：由运动重建结构

视频压缩

Video Stabilization 等

光流是基于以下假设的：在连续的两帧图像之间(目标对象的)像素的灰度值不改变。

相邻的像素具有相同的运动

第一帧图像中的像素

在时间 dt 后移动到第二帧图像的

处。根据第一条假设：灰度值不变。所以我们可以得到：

对等号右侧进行泰勒级数展开，消去相同项，两边都除以 dt，得到如下方程：

其中：

;

;

上边的等式叫做光流方程。其中 fx 和 fy 是图像梯度，同样 ft 是时间方向的梯度。但(u，v)是不知道的。我们不能在一个等式中求解两个未知数，为此出现了许多种光流法。

1. Lucas-Kanade 法

LucasKanade法就是利用一个 3x3 邻域中的 9 个点具有相同运动的这一点。这样我们就可以找到这 9 个点的光流方程，用它们组成一个具有两个未知数 9 个等式的方程组，这是一个约束条件过多的方程组。一个好的解决方法就是使用最小二乘拟合。

求解结果

代码实现如下：

# 来自opencv\sources\samples\python\lk_track.py

import numpy as np

import cv2 as cv

cap = cv.VideoCapture("E:/opencv_vs/opencv/sources/samples/data/vtest.avi")

# params for ShiTomasi corner detection 设置 ShiTomasi 角点检测的参数

feature_params = dict(maxCorners=100,

qualityLevel=0.3,

minDistance=7,

blockSize=7)

# Parameters for lucas kanade optical flow 设置 lucas kanade 光流场的参数

# maxLevel 为使用的图像金字塔层数

lk_params = dict(winSize=(15, 15),

maxLevel=2,

criteria=(cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 0.03))

# Create some random colors 产生随机的颜色值

color = np.random.randint(0, 255, (100, 3))

# Take first frame and find corners in it 获取第一帧，并寻找其中的角点

(ret, old_frame) = cap.read()

old_gray = cv.cvtColor(old_frame, cv.COLOR_BGR2GRAY)

p0 = cv.goodFeaturesToTrack(old_gray, mask=None, **feature_params)

# Create a mask image for drawing purposes 创建一个掩膜为了后面绘制角点的光流轨迹

mask = np.zeros_like(old_frame)

# 视频文件输出参数设置

out_fps = 12.0 # 输出文件的帧率

fourcc = cv.VideoWriter_fourcc('M', 'P', '4', '2')

sizes = (int(cap.get(cv.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv.CAP_PROP_FRAME_HEIGHT)))

out = cv.VideoWriter('E:/video/v5.avi', fourcc, out_fps, sizes)

while True:

(ret, frame) = cap.read()

frame_gray = cv.cvtColor(frame, cv.COLOR_BGR2GRAY)

# calculate optical flow 能够获取点的新位置

p1, st, err = cv.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

# Select good points 取好的角点，并筛选出旧的角点对应的新的角点

good_new = p1[st == 1]

good_old = p0[st == 1]

# draw the tracks 绘制角点的轨迹

for i, (new, old) in enumerate(zip(good_new, good_old)):

a, b = new.ravel()

c, d = old.ravel()

mask = cv.line(mask, (a, b), (c, d), color[i].tolist(), 2)

frame = cv.circle(frame, (a, b), 5, color[i].tolist(), -1)

img = cv.add(frame, mask)

cv.imshow('frame', img)

out.write(img)

k = cv.waitKey(200) & 0xff

if k == 27:

break

# Now update the previous frame and previous points 更新当前帧和当前角点的位置

old_gray = frame_gray.copy()

p0 = good_new.reshape(-1, 1, 2)

out.release()

cv.destroyAllWindows()

cap.release()

LK光流法效果https://www.zhihu.com/video/1016737011285323776

2. 稠密光流法

Lucas-Kanade 法是计算一些特征点的光流，OpenCV 还提供了一种计算稠密光流的方法，它会图像中的所有点的光流。这里介绍一种基于 Gunner_Farneback 的算法(2003 年)。

代码实现如下：

# 来自opencv\sources\samples/python2/opt_flow.py

import cv2 as cv

import numpy as np

es = cv.getStructuringElement(cv.MORPH_ELLIPSE, (10, 10))

kernel = cv.getStructuringElement(cv.MORPH_ELLIPSE, (3, 3))

cap = cv.VideoCapture("E:/opencv_vs/opencv/sources/samples/data/vtest.avi")

frame1 = cap.read()[1]

prvs = cv.cvtColor(frame1, cv.COLOR_BGR2GRAY)

hsv = np.zeros_like(frame1)

hsv[..., 1] = 255

# 视频文件输出参数设置

out_fps = 12.0 # 输出文件的帧率

fourcc = cv.VideoWriter_fourcc('M', 'P', '4', '2')

sizes = (int(cap.get(cv.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv.CAP_PROP_FRAME_HEIGHT)))

out1 = cv.VideoWriter('E:/video/v6.avi', fourcc, out_fps, sizes)

out2 = cv.VideoWriter('E:/video/v8.avi', fourcc, out_fps, sizes)

while True:

(ret, frame2) = cap.read()

next = cv.cvtColor(frame2, cv.COLOR_BGR2GRAY)

flow = cv.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

mag, ang = cv.cartToPolar(flow[..., 0], flow[..., 1])

hsv[..., 0] = ang * 180 / np.pi / 2

hsv[..., 2] = cv.normalize(mag, None, 0, 255, cv.NORM_MINMAX)

bgr = cv.cvtColor(hsv, cv.COLOR_HSV2BGR)

draw = cv.cvtColor(bgr, cv.COLOR_BGR2GRAY)

draw = cv.morphologyEx(draw, cv.MORPH_OPEN, kernel)

draw = cv.threshold(draw, 25, 255, cv.THRESH_BINARY)[1]

image, contours, hierarchy = cv.findContours(draw.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)

for c in contours:

if cv.contourArea(c) < 500:

continue

(x, y, w, h) = cv.boundingRect(c)

cv.rectangle(frame2, (x, y), (x + w, y + h), (255, 255, 0), 2)

cv.imshow('frame2', bgr)

cv.imshow('draw', draw)

cv.imshow('frame1', frame2)

out1.write(bgr)

out2.write(frame2)

k = cv.waitKey(200) & 0xff

if k == 27 or k == ord('q'):

break

elif k == ord('s'):

cv.imwrite('opticalfb.png', frame2)

cv.imwrite('opticalhsv.png', bgr)

prvs = next

out1.release()

out2.release()

cap.release()

cv.destroyAllWindows()

稠密光流法图1https://www.zhihu.com/video/1016738303038668800

稠密光流法图2https://www.zhihu.com/video/1016738365630263296

稠密光流法图3https://www.zhihu.com/video/1016738446206861312

参考资料

[1]利用光流法进行运动目标检测 - CSDN博客

https://blog.csdn.net/zouyu1746430162/article/details/53286089

[2]OpenCv_光流法运动目标检测 - CSDN博客

https://blog.csdn.net/llp1992/article/details/44099415

[3]OpenCV官方教程