運動物體檢測論文（2）

在第以前的章節中，已經提出RIMF來檢測移動像素。 爲了計算RIMF，應首先估算GIMF。 此外，RIMF的不肯定性也能夠根據自我運動和視差圖不肯定性來計算。

Global Image Motion Flow （GIMF）怎麼計算呢？

 

GIMF用於表示由相機運動引發的圖像運動流。 給定前一圖像幀中的像素位置pt-1 =（ut-1; vt-1; 1）^T，咱們能夠根據Eq (1) 預測其當前幀中的圖像位置pt =（ut; vt; 1）^T。。 理論上，當前幀中3D靜態點的圖像位置對應關係能夠經過前一幀中的深度信息和相機的相對運動信息來預測。 可是，此預測僅在3D點來自靜態對象時才起做用，而且不適用於動態對象。 最後，由攝像機運動引發的圖像點（u; v）^T的GIMF 光流值g =（gu; gv）^T可表示爲：

                                                                                         

Residual Image Motion Flow RIMF 計算

  假設在點（u; v）處的前一幀和當前幀之間估計的MOF是m =（mu; mv）^T，則RIMF的值q =（qu; qv）^T被計算爲：

 

                                                                               

理想狀況下，靜態點的RIMF應爲零，而移動點的RIMF應大於零。簡單地將RIMF絕對差別與固定閾值進行比較不會獲得使人滿意的結果，能將運動像素與靜態像素區分開，由於不一樣3D世界位置的點具備不一樣的圖像運動。此外，估計的不肯定性，例如，在相機運動或像素深度上，對圖像點有不一樣的影響。忽視這些不肯定性可能致使大量誤報檢測。 RIMF的不肯定性主要來自四個部分。

第一個也是最重要的一個是相機運動估計的不肯定性，由於它根據方程（1）對每一個像素具備全局影響。此外，它會影響不一樣位置的像素。

第二個影響部分是深度估計的偏差，

第三個影響部分來自光流估計過程。

最後一個是像素位置噪聲，它直接來自圖像噪聲（圖像校訂，相機本徵和外部校準，數字圖像量化等）

 

Motion Likelihood Estimation  運動似然估計

如上所述，固定閾值不會獲得檢測移動像素的使人滿意的解決方案。 爲了處理這個問題，使用一階高斯近似將RIMF的不肯定性從傳感器傳播到最終估計。 如在等式（7）中，RIMF是相機運動θ，前一幀處的像素位置（u; v），視差d和測量的光流（μ; mv）的函數。在這項工做中沒有考慮測量光流的不肯定性，由於它隻影響局部的檢測結果。 基於[5]中的前向協方差傳播框架，可使用以下的一階近似來計算RIMF協方差：

                                                                                   

其中J表示關於每一個輸入變量的雅可比矩陣（例如，相機運動Θ，像素位置（u; v）和前一幀中的視差值d）和Σ= diag（ΣΘ;Σo）是協方差矩陣 全部輸入變量。 相機運動的協方差矩陣是ΣΘ，估計過程當中的視差值的協方差矩陣是Σo=diag (σu2;σv2; σd2),其中σu和σv是用於描述相機的像素量化偏差和σd的方差。 在[18]中，做者提出視差圖的不肯定性也能夠被認爲是近似標準高斯分佈，其方差能夠線性近似爲：

                                                                            

其中σ0和γ是兩個常數參數，其中Ud（u; v）是位置（u; v）上的視差值的不肯定性。 這裏，匹配成本用做視差值的置信度度量（更多細節能夠在[29]中找到）。 與Σ中每一個參數的方差相比，自我運動參數，位置和視差之間的協方差能夠忽略不計，而且估計過程是困難的。 基於上面估計的ΣRIMF，咱們能夠計算流向量移動的可能性。 假設靜止世界和高斯偏差傳播，假設流向量遵循具備零均值和協方差矩陣ΣRIMF的高斯分佈。 能夠經過擬合優度檢驗該零假設來檢測與該假設的誤差。 或者，能夠計算與RIMF向量相關聯的Mahalanobis距離[30]：

                                                                              

其中q是在等式7中定義的特定圖像位置處的RIMF向量。 因爲μ2q是χ2分佈的，所以能夠根據其μq值來計算RIMF向量的RIMF運動似然ξ（m）。

 

在圖（3）中，子圖(a),(b)是由曼哈頓距離μq產生的運動似然圖像。 綠色像素被檢測爲靜態像素，紅色像移動同樣。 在子圖a中，兩個騎車者來自車輛的相反方向，而且行人在與車輛相同的方向上移動，而且全部三個都被很好地檢測爲移動。 還檢測到玻璃窗中移動的汽車的陰影。 在子圖b中，已經檢測到全部移動的行人，可是地面上的誤報是由MOF偏差引發的。

 

運動分割

可能性閾值能夠應用於運動似然圖像，以便區分移動和靜態像素。 然而，因爲不完美的MOF，檢測噪聲可能遍佈該過程。 圖（3）顯示了使用不一樣閾值的一些檢測結果。 例如，不管使用哪一個閾值，幀16（子圖3a）處的運動可能性估計都是良好的而且已經很好地檢測到全部運動對象。 儘管在幀535（子圖3b）處的運動似然也被很好地估計，但因爲光流的粗略估計，它仍然在靜態物體的邊緣上有噪聲。 較低的閾值致使較高的真陽性和較高假陽性; 相反，較高的閾值可能致使較差的檢測率。 沒法肯定適合全部狀況的最佳閾值。

 

文中使用了 Graph-Cut for Motion Segmentation （沒有具體看）具體效果以下

 

邊界框生成

 

應在每一個移動物體周圍生成邊界框。 另外，還應該消除一些錯誤檢測的像素（例如，陰影）。 在咱們的方法中，咱們主要關注車輛前方30米（縱向），20米（橫向）和3米（高度）的立方體檢測空間。 在該有限子空間中，經過將全部檢測到的3D移動點投影到xOz平面上來構建密度圖。 密度圖與累積緩衝區相關聯。 累積緩衝區中的單元在xOz平面上覆蓋50cm×50cm的區域。 

 

 

基於U-Disparity Map的ROI生成

在每一個聚類中，能夠爲下一個識別步驟的每一個移動對象生成邊界框。 區域增加用於去除冗餘並使用密集視差圖集成部分檢測。 U-V視差圖[34,35]是經典視差圖的兩個變體，一般用於道路和障礙物檢測。 U視差圖具備與原始圖像相同的寬度，其經過記錄沿每一個圖像列共享相同視差值的像素的數量而造成。

在U視差圖中，因爲類似的視差值，直立對象將造成水平線。 相反，每條白色水平線表明相應的直立物體。 該信息能夠有效地用於肯定對象的寬度。 在得到邊界框的寬度以後，基於視差值將區域增加[36]應用於聚類組像素的鄰域。 視差值在每一個簇的最小和最大視差值之間的像素被認爲屬於同一對象。 最終的界限移動物體的框顯示在5b-（e）中。

基於V-Disparity Map的聚類減小

 

 

 

在本文中，已經提出了一種從兩個連續立體幀中檢測運動物體的方法。經過用於得到每一個像素的運動似然的一階偏差傳播模型來估計自我運動不肯定性。具備高運動可能性和相似深度的像素被檢測爲基於圖形切割運動分割方法的移動。另外，基於分割結果，能夠快速識別移動物體。幾個不一樣的真實視頻序列中的檢測結果代表，咱們提出的算法在全局（相機運動）和局部（光流）噪聲方面是穩健的。此外，咱們的方法適用於全部圖像像素，而且能夠檢測任意移動的對象（包括部分遮擋）。若是沒有任何跟蹤策略，咱們的檢測方法能夠提供高召回率，而且在幾個公共序列中也表現出可接受的精確率。然而，所提出的方法的計算複雜性是一個重要的問題。這主要是因爲計算每一個圖像像素的運動似然和使用圖切算法的分割。基於GPU的算法可用於克服這一弱點[42]。此外，MOD的性能高度依賴於密集光流和視差圖的結果。然而，他們在複雜動態環境（包括其餘移動物體）中的估計一般變得很是困難。

視頻https://youtu.be/mfSJnCoyLxc

 

有興趣的小夥伴能夠關注微信公衆號，加入QQ或者微信羣，和你們一塊兒交流分享吧（該羣主要是與點雲三維視覺相關的交流分享羣，歡迎你們加入並分享）