OpenCV之光流法運動目標跟蹤

 

 

 

 

[光流Optical Flow]的概念是Gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的像素運動的瞬時速度，是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關係，從而計算出相鄰幀之間物體的運動信息的一種方法。
通常而言，光流是因爲場景中前景目標自己的移動、相機的運動，或者二者的共同運動所產生的。當人的眼睛觀察運動物體時，物體的景象在人眼的視網膜上造成一系列連續變化的圖像，這一系列連續變化的信息不斷流過視網膜（即圖像平面），好像一種光的流;，故稱之爲光流（optical flow）。
光流表達了圖像的變化，因爲它包含了目標運動的信息，所以可被觀察者用來肯定目標的運動狀況。從圖片序列中近似獲得不能直接獲得的運動場<運動場，其實就是物體在三維真實世界中的運動；光流場，是運動場在二維圖像平面上（人的眼睛或者攝像頭）的投影。
那通俗的講就是經過一個圖片序列，把每張圖像中每一個像素的運動速度和運動方向找出來就是光流場。那怎麼找呢？我們直觀理解確定是：第t幀的時候A點的位置是(x₁, y₁)，那麼咱們在第t+1幀的時候再找到A點，假如它的位置是(x₂,y₂)，那麼咱們就能夠肯定A點的運動了：(u_x, v_y) = (x₂, y₂) - (x₁,y₁)。 
那怎麼知道第t+1幀的時候A點的位置呢？ 這就存在不少的光流計算方法了。

光流計算方法

大體可分爲三類：基於匹配的方法、頻域的方法和梯度的方法。

1. 基於匹配的光流計算方法包括基於特徵和基於區域兩種
2. 基於頻域的方法，也稱爲基於能量的方法，利用速度可調的濾波組輸出頻率或相位信息。
3. 基於梯度的方法利用圖像序列亮度的時空微分計算2D速度場（光流）。

---

當前對於光流法的研究主要有兩個方向

一是研究在固有硬件平臺基礎上實現現有算法 
二是研究新的算法。

光流算法的主要目的就是基於序列圖像實現對光流場的可靠、快速、精確以及魯棒性的估計。然而，因爲圖像序列目標的特性、場景中照明，光源的變化、運動的速度以及噪聲的影響等多種因素影響着光流算法的有效性。

函數詳解

1.CalcOpticalFlowPyrLK

計算一個稀疏特徵集的光流，使用金字塔中的迭代 Lucas-Kanade 方法 
C++函數代碼

 1    void calcOpticallFlowPyrLK (  2  InuputArray prevImg,  3  InputArray prevPts,  4  InputOutputArraynextPts,  5  OutputArray err,  6          Size winSize = Size(21,21),  7          int maxLevel = 3,  8          TermCriteriacriteria=TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 0.01),  9          int flags = 0, 10          double minEigThreshold = 1e-4
11  );

函數參數詳解：

參數	解釋
prevImg	深度爲8位的前一幀圖像或金字塔圖像。
nextImg	和prevImg有相同的大小和類型，後一幀圖像或金字塔。
prevPts	計算光流所須要的輸入2D點矢量，點座標必須是單精度浮點數。
nextPts	輸出2D點矢量(也是單精度浮點數座標)，點矢量中包含的是在後一幀圖像上計算獲得的輸入特徵新位置。
status	輸出狀態矢量(元素是無符號char類型，uchar)，若是相應特徵的流發現則矢量元素置爲1，不然，爲0。
err	輸出偏差矢量。
winSize	每一個金字塔層搜索窗大小。
maxLevel	金字塔層的最大數目；若是置0，金字塔不使用(單層)；若是置1，金字塔2層，等等以此類推。
criteria	指定搜索算法收斂迭代的類型
minEigTheshold	算法計算的光流等式的2x2常規矩陣的最小特徵值。

---

金字塔Lucas-Kannade算法：

LK算法有三個假設：亮度恆定，即圖像場景中目標的像素在幀間運動時外觀上保持不變；時間連續或者運動是」小運動「，即圖像的運動隨時間的變化比較緩慢；空間一致，即一個場景中同一表面上鄰近的點具備類似的運動。然而，對於大多數30HZ的攝像機，大而連貫的運動是廣泛存在的狀況，因此LK光流正由於這個緣由在實際中的跟蹤效果並非很好。咱們須要大的窗口來捕獲大的運動，而大窗口每每違背運動連貫的假設！而圖像金字塔能夠解決這個問題，因而乎，金字塔Lucas-Kanade就提出來了。 
金字塔Lucas-Kanade跟蹤方法是：在圖像金字塔的最高層計算光流，用獲得的運動估計結果做爲下一層金字塔的起始點，重複這個過程直到到達金字塔的最底層。這樣就將不知足運動的假設可能性降到最小從而實現對更快和更長的運動的跟蹤。

---

2.cvGoodFeaturesToTrack

函數 cvGoodFeaturesToTrack 在圖像中尋找具備大特徵值的角點。該函數，首先用cvCornerMinEigenVal 計算輸入圖像的每個像素點的最小特徵值，並將結果存儲到變量 eig_image 中。而後進行非最大值抑制（僅保留3x3鄰域中的局部最大值）。下一步將最小特徵值小於 quality_level?max(eig_image(x,y)) 排除掉。最後，函數確保全部發現的角點之間具備足夠的距離，（最強的角點第一個保留，而後檢查新的角點與已有角點之間的距離大於 min_distance ）。 
C++函數代碼

 1 void cvGoodFeaturesToTrack(  2          const CvArr* image,  3          CvArr* temp_image,  4          CvPoint2D32f* corners,  5          int* corner_count,  6          double quality_level,  7          double min_distance,  8          const CvArr* mask=NULL,  9          int block_size = NULL, 10          int use_harris = 0, 11          double k = 0.4
12 );

函數參數詳解：

參數	解釋
image	輸入圖像，8-位或浮點32-比特，單通道
eig_image	臨時浮點32-位圖像，尺寸與輸入圖像一致
temp_image	另一個臨時圖像，格式與尺寸與 eig_image 一致
corners	輸出參數，檢測到的角點
corner_count	輸出參數，檢測到的角點數目
quality_level	最大最小特徵值的乘法因子。定義可接受圖像角點的最小質量因子。
min_distance	限制因子。獲得的角點的最小距離。使用 Euclidian 距離
mask	ROI感興趣區域。函數在ROI中計算角點，若是 mask 爲 NULL，則選擇整個圖像。
block_size	計算導數的自相關矩陣時指定點的領域，採用小窗口計算的結果比單點（也就是block_size爲1）計算的結果要好。
use_harris	標誌位。當use_harris的值爲非0，則函數使用Harris的角點定義；若爲0，則使用Shi-Tomasi的定義。
k	當use_harris爲k且非0，則k爲用於設置Hessian自相關矩陣即對Hessian行列式的相對權重的權重係數

 1 @--751407505@qq.com  2 // 程序描述：來自OpenCV安裝目錄下Samples文件夾中的官方示例程序-利用光流法進行運動目標檢測  3 // 描述：包含程序所使用的頭文件和命名空間
 4 #include <opencv2/video/video.hpp>
 5 #include <opencv2/highgui/highgui.hpp>
 6 #include <opencv2/imgproc/imgproc.hpp>
 7 #include <opencv2/core/core.hpp>
 8 #include <iostream>
 9 #include <cstdio>
 10 using namespace std;  11 using namespace cv;  12 // 描述：聲明全局函數
 13 void tracking(Mat &frame, Mat &output);  14 bool addNewPoints();  15 bool acceptTrackedPoint(int i);  16 // 描述：聲明全局變量
 17 string window_name = "optical flow tracking";  18 Mat gray;   // 當前圖片
 19 Mat gray_prev;  // 預測圖片
 20 vector<Point2f> points[2];  // point0爲特徵點的原來位置，point1爲特徵點的新位置
 21 vector<Point2f> initial;    // 初始化跟蹤點的位置
 22 vector<Point2f> features;   // 檢測的特徵
 23 int maxCount = 500; // 檢測的最大特徵數
 24 double qLevel = 0.01;   // 特徵檢測的等級
 25 double minDist = 10.0;  // 兩特徵點之間的最小距離
 26 vector<uchar> status;   // 跟蹤特徵的狀態，特徵的流發現爲1，不然爲0
 27 vector<float> err;  28 //輸出相應信息和OpenCV版本-----
 29 static void helpinformation()  30 {  31     cout <<"\n\n\t\t\t 光流法跟蹤運動目標檢測\n"
 32          <<"\n\n\t\t\t 當前使用的OpenCV版本爲：" << CV_VERSION  33          <<"\n\n" ;  34 }  35  
 36 //main( )函數，程序入口
 37 int main()  38 {  39  Mat frame;  40  Mat result;  41     //加載使用的視頻文件，放在項目程序運行文件下
 42     VideoCapture capture("1.avi");  43     //顯示信息函數
 44  helpinformation();  45     // 攝像頭讀取文件開關
 46     if(capture.isOpened())  47  {  48         while(true)  49  {  50             capture >> frame;  51  
 52             if(!frame.empty())  53  {  54  tracking(frame, result);  55  }  56             else
 57  {  58                 printf(" --(!) No captured frame -- Break!");  59                 break;  60  }  61             int c = waitKey(50);  62             if( (char)c == 27 )  63  {  64                 break;  65  }  66  }  67  }  68     return 0;  69 }  70  
 71 // parameter: frame 輸入的視頻幀  72 // output 有跟蹤結果的視頻幀
 73 void tracking(Mat &frame, Mat &output)  74 {  75  cvtColor(frame, gray, CV_BGR2GRAY);  76  frame.copyTo(output);  77     // 添加特徵點
 78     if (addNewPoints())  79  {  80  goodFeaturesToTrack(gray, features, maxCount, qLevel, minDist);  81         points[0].insert(points[0].end(), features.begin(), features.end());  82  initial.insert(initial.end(), features.begin(), features.end());  83  }  84  
 85     if (gray_prev.empty())  86  {  87  gray.copyTo(gray_prev);  88  }  89     // l-k光流法運動估計
 90     calcOpticalFlowPyrLK(gray_prev, gray, points[0], points[1], status, err);  91     // 去掉一些很差的特徵點
 92     int k = 0;  93     for (size_t i=0; i<points[1].size(); i++)  94  {  95         if (acceptTrackedPoint(i))  96  {  97             initial[k] = initial[i];  98             points[1][k++] = points[1][i];  99  } 100  } 101     points[1].resize(k); 102  initial.resize(k); 103     // 顯示特徵點和運動軌跡
104     for (size_t i=0; i<points[1].size(); i++) 105  { 106         line(output, initial[i], points[1][i], Scalar(0, 0, 255)); 107         circle(output, points[1][i], 3, Scalar(0, 255, 0), -1); 108  } 109  
110     // 把當前跟蹤結果做爲下一此參考
111     swap(points[1], points[0]); 112  swap(gray_prev, gray); 113  imshow(window_name, output); 114 } 115  
116 // 檢測新點是否應該被添加 117 // return: 是否被添加標誌
118 bool addNewPoints() 119 { 120     return points[0].size() <= 10; 121 } 122  
123 //決定哪些跟蹤點被接受
124 bool acceptTrackedPoint(int i) 125 { 126     return status[i] && ((abs(points[0][i].x - points[1][i].x) + abs(points[0][i].y - points[1][i].y)) > 2); 127 }

ref:本代碼參考@淺墨_毛星雲的書籍《OpenCV3編程入門》，代碼版權歸老師全部，僅供學習借鑑只用。 

https://blog.csdn.net/liangchunjiang/article/details/79848711