python運動目标檢測_運動目标檢測(3)—光流法

光流法利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性，根據上一幀與目前幀之間的對應關系，計算得到相鄰幀之間物體的運動資訊。

二十世紀五十年代心理學家Gibson在他的著作“The Perception of Visual World”中首次提出了以心理學實驗為基礎的光流法基本概念，而直到八十年代才由Horn、Kanade、Lucash和Schunck創造性地将灰階與二維速度場相聯系，引入光流限制方程的算法，對光流計算做了奠基性的工作。

在實際測試中，雖然它能檢測運動目标的整個區域，适用于錄影機靜止和運動情況，但大多數的光流計算方法計算量巨大，結構複雜，且易受光照、物體遮擋或圖像噪聲的影響，魯棒性差，故一般不被對精度和實時性要求比較高的監控系統所采用。

五幀光流場向量

上圖顯示了一個點在連續的五幀圖像間的移動。箭頭表示光流場向量。光流在很多領域中都很有用：由運動重建結構

視訊壓縮

Video Stabilization 等

光流是基于以下假設的：在連續的兩幀圖像之間(目标對象的)像素的灰階值不改變。

相鄰的像素具有相同的運動

第一幀圖像中的像素

在時間 dt 後移動到第二幀圖像的

處。根據第一條假設：灰階值不變。是以我們可以得到：

對等号右側進行泰勒級數展開，消去相同項，兩邊都除以 dt，得到如下方程：

其中：

;

;

上邊的等式叫做光流方程。其中 fx 和 fy 是圖像梯度，同樣 ft 是時間方向的梯度。但(u，v)是不知道的。我們不能在一個等式中求解兩個未知數，為此出現了許多種光流法。

1. Lucas-Kanade 法

LucasKanade法就是利用一個 3x3 鄰域中的 9 個點具有相同運動的這一點。這樣我們就可以找到這 9 個點的光流方程，用它們組成一個具有兩個未知數 9 個等式的方程組，這是一個限制條件過多的方程組。一個好的解決方法就是使用最小二乘拟合。

求解結果

代碼實作如下：

# 來自opencv\sources\samples\python\lk_track.py

import numpy as np

import cv2 as cv

cap = cv.VideoCapture("E:/opencv_vs/opencv/sources/samples/data/vtest.avi")

# params for ShiTomasi corner detection 設定 ShiTomasi 角點檢測的參數

feature_params = dict(maxCorners=100,

qualityLevel=0.3,

minDistance=7,

blockSize=7)

# Parameters for lucas kanade optical flow 設定 lucas kanade 光流場的參數

# maxLevel 為使用的圖像金字塔層數

lk_params = dict(winSize=(15, 15),

maxLevel=2,

criteria=(cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 0.03))

# Create some random colors 産生随機的顔色值

color = np.random.randint(0, 255, (100, 3))

# Take first frame and find corners in it 擷取第一幀，并尋找其中的角點

(ret, old_frame) = cap.read()

old_gray = cv.cvtColor(old_frame, cv.COLOR_BGR2GRAY)

p0 = cv.goodFeaturesToTrack(old_gray, mask=None, **feature_params)

# Create a mask image for drawing purposes 建立一個掩膜為了後面繪制角點的光流軌迹

mask = np.zeros_like(old_frame)

# 視訊檔案輸出參數設定

out_fps = 12.0 # 輸出檔案的幀率

fourcc = cv.VideoWriter_fourcc('M', 'P', '4', '2')

sizes = (int(cap.get(cv.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv.CAP_PROP_FRAME_HEIGHT)))

out = cv.VideoWriter('E:/video/v5.avi', fourcc, out_fps, sizes)

while True:

(ret, frame) = cap.read()

frame_gray = cv.cvtColor(frame, cv.COLOR_BGR2GRAY)

# calculate optical flow 能夠擷取點的新位置

p1, st, err = cv.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

# Select good points 取好的角點，并篩選出舊的角點對應的新的角點

good_new = p1[st == 1]

good_old = p0[st == 1]

# draw the tracks 繪制角點的軌迹

for i, (new, old) in enumerate(zip(good_new, good_old)):

a, b = new.ravel()

c, d = old.ravel()

mask = cv.line(mask, (a, b), (c, d), color[i].tolist(), 2)

frame = cv.circle(frame, (a, b), 5, color[i].tolist(), -1)

img = cv.add(frame, mask)

cv.imshow('frame', img)

out.write(img)

k = cv.waitKey(200) & 0xff

if k == 27:

break

# Now update the previous frame and previous points 更新目前幀和目前角點的位置

old_gray = frame_gray.copy()

p0 = good_new.reshape(-1, 1, 2)

out.release()

cv.destroyAllWindows()

cap.release()

LK光流法效果https://www.zhihu.com/video/1016737011285323776

2. 稠密光流法

Lucas-Kanade 法是計算一些特征點的光流，OpenCV 還提供了一種計算稠密光流的方法，它會圖像中的所有點的光流。這裡介紹一種基于 Gunner_Farneback 的算法(2003 年)。

代碼實作如下：

# 來自opencv\sources\samples/python2/opt_flow.py

import cv2 as cv

import numpy as np

es = cv.getStructuringElement(cv.MORPH_ELLIPSE, (10, 10))

kernel = cv.getStructuringElement(cv.MORPH_ELLIPSE, (3, 3))

cap = cv.VideoCapture("E:/opencv_vs/opencv/sources/samples/data/vtest.avi")

frame1 = cap.read()[1]

prvs = cv.cvtColor(frame1, cv.COLOR_BGR2GRAY)

hsv = np.zeros_like(frame1)

hsv[..., 1] = 255

# 視訊檔案輸出參數設定

out_fps = 12.0 # 輸出檔案的幀率

fourcc = cv.VideoWriter_fourcc('M', 'P', '4', '2')

sizes = (int(cap.get(cv.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv.CAP_PROP_FRAME_HEIGHT)))

out1 = cv.VideoWriter('E:/video/v6.avi', fourcc, out_fps, sizes)

out2 = cv.VideoWriter('E:/video/v8.avi', fourcc, out_fps, sizes)

while True:

(ret, frame2) = cap.read()

next = cv.cvtColor(frame2, cv.COLOR_BGR2GRAY)

flow = cv.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

mag, ang = cv.cartToPolar(flow[..., 0], flow[..., 1])

hsv[..., 0] = ang * 180 / np.pi / 2

hsv[..., 2] = cv.normalize(mag, None, 0, 255, cv.NORM_MINMAX)

bgr = cv.cvtColor(hsv, cv.COLOR_HSV2BGR)

draw = cv.cvtColor(bgr, cv.COLOR_BGR2GRAY)

draw = cv.morphologyEx(draw, cv.MORPH_OPEN, kernel)

draw = cv.threshold(draw, 25, 255, cv.THRESH_BINARY)[1]

image, contours, hierarchy = cv.findContours(draw.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)

for c in contours:

if cv.contourArea(c) < 500:

continue

(x, y, w, h) = cv.boundingRect(c)

cv.rectangle(frame2, (x, y), (x + w, y + h), (255, 255, 0), 2)

cv.imshow('frame2', bgr)

cv.imshow('draw', draw)

cv.imshow('frame1', frame2)

out1.write(bgr)

out2.write(frame2)

k = cv.waitKey(200) & 0xff

if k == 27 or k == ord('q'):

break

elif k == ord('s'):

cv.imwrite('opticalfb.png', frame2)

cv.imwrite('opticalhsv.png', bgr)

prvs = next

out1.release()

out2.release()

cap.release()

cv.destroyAllWindows()

稠密光流法圖1https://www.zhihu.com/video/1016738303038668800

稠密光流法圖2https://www.zhihu.com/video/1016738365630263296

稠密光流法圖3https://www.zhihu.com/video/1016738446206861312

參考資料

[1]利用光流法進行運動目标檢測 - CSDN部落格

https://blog.csdn.net/zouyu1746430162/article/details/53286089

[2]OpenCv_光流法運動目标檢測 - CSDN部落格

https://blog.csdn.net/llp1992/article/details/44099415

[3]OpenCV官方教程