視頻分析（一）：Meanshift均值漂移和Camshift算法來查找和跟蹤視頻中的對象

目標

在這一章當中，

• 咱們將學習Meanshift和Camshift算法來查找和跟蹤視頻中的對象。

均值漂移

手段背後的直覺很簡單。考慮你有一組點。（它能夠是像直方圖反投影的像素分佈）。您會看到一個小窗口（多是一個圓圈），您必須將該窗口移動到最大像素密度（或最大點數）區域。它在下面給出的簡單圖像中進行了說明：

初始窗口以藍色圓圈顯示，名稱爲「C1」。其原始中心標記爲藍色矩形，名爲「C1_o」。可是若是你發現窗口內的點的質心，你將獲得點「C1_r」（用小藍圈標記），這是窗口的真實質心。固然，他們不匹配。因此移動你的窗口，使新窗口的圓與先前質心相匹配。再次找到新的質心。最有可能的是，它不會匹配。所以，再次移動它，並繼續迭代，以使窗口的中心和質心落在相同的位置（或具備小的指望偏差）。因此最後你獲得的是一個最大像素分佈的窗口。它標有綠色圓圈，名爲「C2」。正如你在圖片中看到的那樣，它有最多的點數。整個過程在下面的靜態圖像中演示：

因此咱們一般會經過直方圖反投影圖像和初始目標位置。當物體移動時，顯然該運動反映在直方圖反投影圖像中。結果，meanshift算法將咱們的窗口移動到最大密度的新位置。

均值漂移在OpenCV中

要在OpenCV中使用meanshift，首先咱們須要設置目標，找到它的直方圖，以便咱們能夠在每一個幀上反向投影目標以計算meanshift。咱們還須要提供窗口的初始位置。對於直方圖，這裏僅考慮Hue。另外，爲了不因光線太低形成的錯誤值，使用cv2.inRange（）函數丟棄低光照值。

import numpy as np
import cv2

cap = cv2.VideoCapture('slow.flv')

# take first frame of the video
ret,frame = cap.read()

# setup initial location of window
r,h,c,w = 250,90,400,125  # simply hardcoded the values
track_window = (c,r,w,h)

# set up the ROI for tracking
roi = frame[r:r+h, c:c+w]
hsv_roi =  cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)

# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )

while(1):
    ret ,frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)

        # apply meanshift to get the new location
        ret, track_window = cv2.meanShift(dst, track_window, term_crit)

        # Draw it on image
        x,y,w,h = track_window
        img2 = cv2.rectangle(frame, (x,y), (x+w,y+h), 255,2)
        cv2.imshow('img2',img2)

        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k)+".jpg",img2)

    else:
        break

cv2.destroyAllWindows()
cap.release()

我使用的視頻中的三個框架以下所示：

CAMSHIFT 

你有沒有密切關注最後的結果？有一個問題。當車離較遠而且距離相機很是近時，咱們的窗戶老是具備相同的尺寸。這是很差的。咱們須要根據目標的大小和旋轉來調整窗口大小。該解決方案再次來自「OpenCV實驗室」，它在1988年由Gary Bradsky在他的論文「用於感知用戶界面的計算機視覺人臉跟蹤」中發表，它被稱爲CAMshift（連續自適應Meanshift）。

它首先應用手段。一旦meanshift收斂，它將窗口的大小更新爲。它還計算最適合橢圓的方向。一樣，它將新的縮放搜索窗口和前一個窗口位置應用於meanshift。該過程持續直到達到所需的準確度。

CAMSHIFT在OpenCV中

它與meanshift幾乎相同，但它返回一個旋轉的矩形（即咱們的結果）和框參數（用於在下一次迭代中做爲搜索窗口傳遞）。請參閱下面的代碼：

import numpy as np
import cv2

cap = cv2.VideoCapture('slow.flv')

# take first frame of the video
ret,frame = cap.read()

# setup initial location of window
r,h,c,w = 250,90,400,125  # simply hardcoded the values
track_window = (c,r,w,h)

# set up the ROI for tracking
roi = frame[r:r+h, c:c+w]
hsv_roi =  cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)

# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )

while(1):
    ret ,frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)

        # apply meanshift to get the new location
        ret, track_window = cv2.CamShift(dst, track_window, term_crit)

        # Draw it on image
        pts = cv2.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv2.polylines(frame,[pts],True, 255,2)
        cv2.imshow('img2',img2)

        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k)+".jpg",img2)

    else:
        break

cv2.destroyAllWindows()
cap.release()

結果的三個框架以下所示：

其餘資源

1. 法語維基百科頁面上Camshift。（這兩個動畫是從這裏獲取的）
2. Bradski，GR，「做爲知覺用戶界面的組成部分的實時人臉和對象跟蹤」，計算機視覺應用1998，WACV'98。Proceedings。，Fourth IEEE Workshop on，vol.no.，pp.214,219，1998年10月19 - 21日

參考：

http://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_video/py_meanshift/py_meanshift.html