基於圖像分割的立體匹配方法

1.緒論

立體匹配是三維重建系統的關鍵步驟，而且做爲一種非接觸測量方法在工業以及科研領域具備重要的應用價值。爲了完成匹配工做以及獲取場景的稠密視差圖，能夠經過構建能量函數對應立體匹配的約束條件。複雜能量函數的全局最優解一般是NP難問題。相對於其餘全局優化算法相好比模擬退火、梯度降低、動態規劃等，圖割算法不只精度高，收斂速度快，而且對於光照變化、弱紋理等區域的匹配效果也比其餘算法好。

2.圖割算法

計算機視覺領域的大部分問題能夠轉換爲標號問題，在立體匹配中視差的求解就是對圖像的像素在視察範圍內的離散標號問題。離散標號的最優解問題能夠採用能量函數的最小化來求解，圖割作爲一種能夠求解能量最小化問題的算法，在計算機視覺領域的應用很是普遍，如圖像分割，圖像恢復，立體匹配等。

Kolmogorov指出瞭如何將能量函數最小化問題與立體視差計算聯繫起來。一般使用圖割算法進行立體匹配分爲三個步驟，創建網絡圖，圖割算法求解，生成視差圖。圖割算法因爲其全局優化的特性可以獲取效果良好的稠密視差圖，可是對於處理高分辨率圖像其運算量過大，爲了下降運算量，通常思路都是採用分割後的圖像縮小網絡圖的規模從而下降計算量。然而因爲採用自動化非交互的彩色圖像分割方法會把相同視差的區域分開或隱去了圖像的部分細節信息，致使分割偏差，而消除偏差須要引入其餘方法，如經過引入初試視差估計等方法，但這些方法增長了立體匹配算法的總體複雜度，並且沒有有效利用分割信息。

在實際應用場景中爲了獲取感興趣區域的精細視差圖，針對於以往基於圖像分割的立體匹配算法複雜、計算量大，沒有充分利用分割結果的信息等缺點，本文提出了一種基於圖像分割的立體匹配方法。該方法在圖像分割時採用可交互的圖割方法得到感興趣目標，只針對感興趣目標進行立體匹配，所以運算量大大減小，同時保留了原有圖割算法具備的全局最優特性。

2.1 能量函數

使用圖割算法進行立體匹配的過程當中，須要將圖割中的網絡圖和能量函數對應起來。能量函數定義爲：

該能量函數的四項分別爲數據項，遮擋項，平滑項，惟一項。每一項都表徵匹配時待處理的問題。

• 1)數據項：
  數據項是爲了讓算法獲取最佳的像素匹配，像素之間的色彩類似度越高，數據項的值越小。
  
  其中函數D(a)用來表徵匹配像素p，q之間的不類似性，a = (p,q)表示若是p，q像素匹配，數據項約束生效並能夠按照下式：進行展開計算。
  
• 2)遮擋項
  遮擋項的做用依然是爲了將匹配像素個數最大化，對於存在遮擋沒法匹配的像素按照下式乘以懲罰係數，由公式可知遮擋像素越少，遮擋項的值越小。
  
• 3)平滑項
  平滑項主要衡量的內容是對於臨近像素通常具備類似性特別是色彩類似這一特色，對於像素p而言其鄰接像素p1和p2應該具備相同的視差分配。
  
  平滑項通常採用分段函數。其中能夠按照距離度量展開成分段函數。平滑項的值越低意味着臨近像素的視差越相近。
• 4)惟一項
  惟一項專一於立體匹配的惟一性約束，若待匹配點出現了不止一個匹配的狀況則將懲罰值設置爲無窮大。下式爲其數學表達
  

2.2 網絡流

（一）最大流
對於帶有源點S和匯點T的有向圖，稱爲網絡圖。在網絡圖中設f是定義在集合E上的非負函數。用fij表示f在弧e = (vi,vj)上的值，即爲弧e上從vi到vj的流量稱爲網絡流。網絡流fij知足下列兩個條件：

• 1.流量Fij不超過弧的容量Cij，

• 2.對於任意頂點vi，從vi留出的流量等於從vi流入的流量。即：
  
  知足上述條件的全部網絡流中流量最大的一個，稱爲最大流。

（二）最小割
網絡圖中一個S-T的割意味着將頂點集分爲兩部分，。割的代價爲頂點集到全部割邊的容量和，容量和最小的割稱爲最小割。設x 和y 是頂點集V中的兩個頂點，(x,y)表示從x 到y 的一條邊，其邊的權值表示爲c(x,y)。所以對於圖G=(v,e)其一個割能夠表示爲：

Ford 和 Fulkerson 早在1962年證實了最大流和最小割的等價對應關係。經過求網絡圖的最大流來等價其最小割，進而能夠獲取此最小割對應能量函數的全局最小值。一個值得注意的工做爲Boykov等人提出的基於圖割理論有效的能量函數優化方法。在該方法中，做者提出標號函數的兩種比較大的移動，擴張移動
(expansion moves)和交換移動(swap moves)，並證實了其擴張算法所得到的局部小和全局小相差一個已知的常數，而交換算法能夠處理更通常的能量函數形式。本文使用擴張移動算法。

3.立體匹配網絡圖的構造

在使用圖割算法進行立體匹配過程當中首先須要構建網絡圖，對於上文提到的網格圖由節點和鏈接節點的有向邊組成。源點S，匯點T爲兩個特殊節點。邊分爲兩種，一種視差邊，一種是平滑邊。視差邊對應於能量函數(公式(1))第1項，平滑邊對應於能量函數第2項。
網格圖的具體構建過程以下：

• 1.創建3維座標系O-XYZ，把圖像置於OXY平面，得的原點，X軸、Y軸與OXY平面的原點以及相應的軸重合。

• 2.在Z軸的正半軸上，從原點開始等距離的放置向量了l1,l2,…ln，在l1即原點O的地方放置q0，對於i=1,2,…n-1在li和li+1的中點放置點qi，最後在ln處放置qn。

至此，由OXY平面中像素點p=(px,py)以及Z的正半軸上點q0,q1,…qn構成了一個立方體網格。咱們能夠知道，對i=1,2,…n-1，在Z軸上的每一個區間[qi,qi+1]剛好包含一個li+1。記(p,qi)=:(px,py,qi)爲立方體網格上的節點，N(P)爲像素點P的鄰域。在網絡圖兩端分別添加兩個節點，即源點S，匯點T。並在S到I1中每一個屬於左視圖分割模版(圖(1))中標記爲前景的像素點之間添加一個邊，在T到集合即立方體網絡上與OXY平面相對的另外一個面上的節點，添加到匯點的邊。由此，得到一個無向圖G=< v,e >即：

則網絡圖中各邊的容量爲：

• (1)源點，匯點鏈接邊的容量爲：匯點連接邊的容量

• (2)視差邊的容量爲：對任意，邊的容量爲：
  
  在對視差邊的處理上，視差邊對應能量函數的數據項，既(1)式的第一項，在彩色圖像中咱們對RGB三通道分開處理，再求加權平均，這樣保留了顏色信息，結果更加精準，特別的，爲了更進一步的準確，本文采用線性最近鄰插值算法添加了亞像素信息。上式能夠擴展爲：

爲彩色圖像各個通道的權值，可取0.29，0.11，0.58，或者0.33。

• (3)光滑邊的容量：p, q爲衣服圖像中相鄰兩像素：
  
  因而網絡圖構建完成，如圖所示：
  

4.基於圖割算法的圖像分割

本文以圖割算法爲基本框架，採用基於圖像分割的辦法來實現對於感興趣物體的立體匹配。因爲彩色圖像分割算法會影響到後期立體匹配的結果，因此選取合適的分割算法很是重要。

基於自動化非交互的分割方法可能會把相同視差的區域分開或者隱去了圖像的部分細節信息，這就形成了偏差，而消除偏差須要引入其餘方法，如經過引入局部匹配算法爲分割模版提供初試視差估計等方法，但這些方法提高了立體匹配算法的總體複雜度，並且沒有有效利用分割信息。因此本文采用基於圖割算法的圖像分割，在構創建體匹配網絡圖的同時進行圖像分割。

在圖像分割問題中咱們定義以下的能量函數形式：

傳統基於圖割算法的圖像分割將上式映射爲求解對應加權圖的最大流/最小割問題，對於低分辨率的簡單圖像交互分割效果良好可是計算複雜度較高，內存開銷大。爲了提升分割速度而且適用於高分辨率圖像，將圖像分割融入立體匹配的流程中。本文采用文獻[22]中的方法，經過添加輔助索引節點，並使用新的能量函數形式：

加速分割並減小運算量。公式(5)數據項中跟表示前景物體跟背景的非歸一直方圖，平滑項中
，爲圖像中全部⊿I的均值。該方法簡化了圖割計算時間，而且獲得了很是精準的分割結果。以下所示(藍色種子點用來標記背景，紅色種子點用來標記前景)：

baby1左視圖種子點設置	左視圖分割結果
baby1右視圖種子點設置	右視圖分割結果

5.圖割算法立體匹配

在立體匹配問題中，視差圖的標號問題能夠等價爲全局能量函數的最小化求值問題，一般表示爲Greig能量函數形式

在圖1中，點表示源點，點表示匯點，視差邊對應於能量函數式（1）中的第一項，平滑邊對應於能量函數第二項。求解式（1）的能量函數的最小值能夠等價爲求解圖的最小割問題，得到全局最優的視差圖。

爲了減小立體匹配的運算量，本文根據圖像分割的結果獲得感興趣物體與分割模版，由分割模版構建網絡圖，使用圖割算法進行立體匹配，有效利用了分割信息。綜上所述本文算法能夠歸納爲兩大步驟：1感興趣目標的提取，2利用網絡圖進行立體匹配。算法流程圖如圖2所示：

Figure 2 Flow chart of the Algorithm

本文相對於傳統方法，根據每一個像素構建網絡圖的算法有所不一樣。對於圖，在兩端分別添加源點，匯點以後，只在到中每一個屬於左視圖分割模版中標記爲目標的像素點之間添加邊，在T到集合即立方體網絡上與平面相對的另外一個面上的節點，添加對應到匯點的邊。經過上述方法，能夠大大減小計算量。

爲了進一步優化匹配結果，本文在對網絡圖中視差邊的處理上，針對彩色圖像採用RGB三通道分開處理，用線性最近鄰插值算法在圖像的橫座標方向添加了亞像素信息。即將(2)式擴展爲：

式中爲彩色圖像各個通道的權值。

按照上述的方法法構造網絡圖，並給各個邊賦相應的權值，採用基於增廣路的最大流算法求解，獲得全局最小值，即爲最優視差匹配。

參考文獻

[16]Boykov Y, Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(9): 1124-1137.
[19]Roy S, Cox I J. A maximum-flow formulation of the n-camera stereo correspondence problem[A]// IEEE International Conference on Computer Vision[A], 1998 January 4-7, Bombay India:492-499.
[20]Hong L, Chen G. Segment-based stereo matching using graph cuts[A]// IEEE Conference on Computer Vision and Pattern Recognition[C],2004 June 27-July 2,Washington DC USA:74-81.
[23]Tang M, Gorelick L, Veksler O, et al. GrabCut in One Cut[A]// IEEE International Conference on Computer Vision[C], 2013 Dec 01 - 08, Sydney, Australia 1769-1776.
[24]王年, 範益政, 鮑文霞等. 基於圖割的圖像匹配算法[J]. 電子學報, 2006, 34(2):232-236.
[25]Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[C]// Stereo and Multi-Baseline Vision, 2001. (SMBV 2001). Proceedings. IEEE Workshop on. IEEE, 2001:131-140.
[28]Deng Y, Yang Q, Lin X, et al. A symmetric patch-based correspondence model for occlusion handling[C]// Proceedings / IEEE International Conference on Computer Vision. IEEE International Conference on Computer Vision. 2005:1316-1322 Vol. 2.
[29]Freeman W T. Comparison of graph cuts with belief propagation for stereo, using identical MRF parameters[C]// Computer Vision, 2003. Proceedings. Ninth IEEE International Conference on. IEEE, 2003:900.
[30]Kolmogorov V. Graph based algorithms for scene reconstruction from two or more views[D]. Cornell University, 2004.
[31]Kolmogorov V, Zabih R. Multi-camera scene reconstruction via graph cuts[M]//Computer Vision—ECCV 2002. Springer Berlin Heidelberg, 2002: 82-96.

論文資源合集

立體匹配綜合論文集 : http://download.csdn.net/detail/wangyaninglm/9591251

基於圖像分割的立體匹配論文合集 : http://download.csdn.net/detail/wangyaninglm/9591253

並行立體匹配論文合集 : http://download.csdn.net/detail/wangyaninglm/9591255

基於置信傳播的立體匹配論文合集 : http://download.csdn.net/detail/wangyaninglm/9591256

基於稠密匹配的論文合集： http://download.csdn.net/detail/wangyaninglm/9591259

本文同步分享在 博客「shiter」（CSDN）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。