【視頻開發】【計算機視覺】全景視頻拼接關鍵技術

全景視頻拼接關鍵技術

1、原理介紹

        圖像拼接(Image Stitching)是一種利用實景圖像組成全景空間的技術，它將多幅圖像拼接成一幅大尺度圖像或360度全景圖，圖像拼接技術涉及到計算機視覺、計算機圖形學、數字圖像處理以及一些數學工具等技術。圖像拼接其基本步驟主要包括如下幾個方面：攝相機的標定、傳感器圖像畸變校訂、圖像的投影變換、匹配點選取、全景圖像拼接（融合），以及亮度與顏色的均衡處理等，如下對各個步驟進行分析。

攝相機標定

        因爲安裝設計，以及攝相機之間的差別，會形成視頻圖像之間有縮放（鏡頭焦距不一致形成）、傾斜（垂直旋轉）、方位角差別（水平旋轉），所以物理的差別須要預先校準，獲得一致性好的圖像，便於後續圖像拼接。

相機的運動方式與成像結果之間的關係見下圖。

圖1：相機的運動方式與成像結果之間的關係

圖像座標變換

        在實際應用中，全景圖像的得到每每須要攝像機以不一樣的位置排列和不一樣的傾角拍攝。例如因爲機載或車載特性，相機的排列方式不盡相同，不能保證相機在同一面上，如柱面投影不必定在同一個柱面上，平面投影不必定在同一平面上；另外爲了不出現盲區，相機拍攝的時候每每會向下傾斜必定角度。這些狀況比較常見，並且容易被忽略，直接投影再拼接效果較差。於是有必要在全部圖像投影到某個柱面（或平面）以前，須要根據相機的位置信息和角度信息來得到座標變換後的圖像。

理論上只要知足靜止三維圖像或者平面場景的兩個條件中的任何一個，兩幅圖像的對應關係就能夠用投影變換矩陣表示，換句話說只要知足這其中任何一個條件，一個相機拍攝的圖像能夠經過座標變換表示爲另外一個虛擬相機拍攝的圖像。

        通常狀況下8參數的透視投影變換最適合描述圖像之間的座標關係，其中8參數的矩陣爲[m0,m1,m2;m3,m4,m5; m6,m7,1]；各參數對應的相機運動表示以下：

        如圖2顯示的是相機向下傾斜必定角度拍攝圖像，這個角度與m6和m7具備對應關係，若是要得到校訂圖像，只須要對8參數矩陣求逆後進行座標變換。

(a) 原始圖像

圖2：(a) 原始圖像；(b)x方向形變效果；(c)傾斜校訂後效果

圖像畸變校訂

         因爲製造、安裝、工藝等緣由，鏡頭存在着各類畸變。爲了提升攝像機拼接的精度，在進行圖像拼接的時候必須考慮成像鏡頭的畸變。通常畸變分爲內部畸變和外部畸變，內部畸變是因爲攝影自己的構造爲原由的畸變，外部畸變爲投影方式的幾何因素原由的畸變。鏡頭畸變屬於內部畸變，由鏡頭產生的畸變通常可分爲徑向畸變和切向畸變兩類。徑向畸變就是集合光學中的畸變像差，主要是因爲鏡頭的徑向曲率不一樣而形成的，有桶形畸變和枕型畸變兩種。切向畸變一般被人爲是因爲鏡頭透鏡組的光學中心不共線引發的，包括有各類生成偏差和裝配偏差等。通常人爲，光學系統成像過程中，徑向畸變是致使圖像畸變的主要因素。徑向畸變致使圖像內直線成彎曲的像，且越靠近邊緣這種效果越明顯。根據徑向畸變產生的機理，對視頻圖像進行校訂。效果如圖3(b)所示，通過校訂的圖像，其有效像素區域縮小，通常可經過電子放大的方式進行校訂，如圖3(c)所示。

圖3：(a)爲原始採集圖像；(b)爲通過徑向失真校訂的圖像；(c)爲通過放大的圖像

 

圖像投影變換

        因爲每幅圖像是相機在不一樣角度下拍攝獲得的，因此他們並不在同一投影平面上，若是對重疊的圖像直接進行無縫拼接，會破壞實際景物的視覺一致性。因此須要先對圖像進行投影變換，再進行拼接。通常有平面投影、柱面投影、立方體投影和球面投影等。

        平面投影就是以序列圖像中的一幅圖像的座標系爲基準，將其圖像都投影變換到這個基準座標系中，使相鄰圖像的重疊區對齊，稱由此造成的拼接爲平面投影拼接；柱面投影是指採集到的圖像數據重投影到一個以相機焦距爲半徑的柱面，在柱面上進行全景圖的投影拼接；球面投影是模擬人眼觀察的特性，將圖像信息經過透視變換投影到眼球部分，構形成一個觀察的球面；立方體投影是爲了解決球面影射中存在的數據不宜存儲的缺點，而發展出來的一種投影拼接方式，它適合於計算機生成圖像，但對實景拍攝的圖像則比較困難。以下圖4所示，圖像拼接處理流程示意圖。

圖4：圖像拼接處理流程示意圖

匹配點選取與標定

        因爲特徵點的方法較容易處理圖像之間旋轉、仿射、透視等變換關係，於是常常被使用，特徵點包括圖像的角點以及相對於其領域表現出某種奇異性的興趣點。Harris等提出了一種角點檢測算法，該算法是公認的比較好的角點檢測算法，具備剛性變換不變性，並在必定程度上具備仿射變換不變性，但該算法不具備縮放變換不變性。針對這樣的缺點，Lowe提出了具備縮放不變性的SIFT特徵點。

圖5 兩幅圖像中標定的匹配特徵點

        如上圖5所示，圖像的拼接須要在圖像序列中找到有效的特徵匹配點。圖像的特徵點尋找直接影響圖像拼接的精度和效率。對於圖像序列，若是特徵點個數≥4個，則很容易自動標定圖像匹配點；若是特徵點不多，圖像拼接每每不能取得較爲理想的效果。

 

圖像拼接融合

        圖像拼接的關鍵兩步是：配準(registration)和融合(blending)。配準的目的是根據幾何運動模型，將圖像註冊到同一個座標系中；融合則是將配準後的圖像合成爲一張大的拼接圖像。

        在多幅圖像配準的過程當中，採用的幾何運動模型主要有：平移模型、類似性模型、仿射模型和透視模型。

        圖像的平移模型是指圖像僅在兩維空間發生了 方向和 方向的位移，若是攝像機僅僅發生了平移運動，則能夠採用平移模型。圖像的類似性模型是指攝像機自己除了平移運動外還可能發生旋轉運動，同時，在存在場景的縮放時，還能夠利用縮放因子 多縮放運動進行描述，所以，當圖像可能發平生移、旋轉、縮放運動時，能夠採用類似性模型。圖像的仿射模型是一個6參數的變換模型，即具備平行線變換成平行線，有限點映射到有限點的通常特性，具體表現能夠是各個方向尺度變換系數一致的均勻尺度變換或變換系數不一致的非均與尺度變換及剪切變換等，能夠描述平移運動、旋轉運動以及小範圍的縮放和變形。圖像的透視模型是具備8個參數的變換模型，能夠完美地表述各類表換，是一種最爲精確變換模型。

        圖像融合技術通常可分爲非多分辨率技術和多分辨率技術兩類。在非多分辨率技術中主要有平均值法、帽子函數法、加權平均法和中值濾波法等。多分辨率技術主要有高斯金字塔、拉普拉斯金字塔、對比度金字塔，梯度金字塔和小波等。

圖6 柱面全景圖像拼接

(a)-(d)爲四幅不一樣視角的圖像，(e)爲最終拼接獲得的柱面全景圖像

 

 

亮度與顏色的均衡處理

        由於相機和光照強度的差別，會形成一幅圖像內部，以及圖像之間亮度的不均勻，拼接後的圖像會出現明暗交替，這樣給觀察形成極大的不便。

        亮度與顏色均衡處理，一般的處理方式是經過相機的光照模型，校訂一幅圖像內部的光照不均勻性，而後經過相鄰兩幅圖像重疊區域之間的關係，創建相鄰兩幅圖像之間直方圖映射表，經過映射表對兩幅圖像作總體的映射變換，最終達到總體的亮度和顏色的一致性。

2、國內外現狀

        全景拼接偵察系統在國外已經有了較早的研究，早在1992年，劍橋大學的L.G.Brown就對圖像拼接的核心技術進行總結，1996年微軟研究院的Richard Szeliski提出基於運動的全景拼接模型。Szeliski後來又相繼發表了若干這方面論文，2000年Shmuel Peleg提出改進方法，根據相機的運動方式自適應選擇拼接模型，2003年M.Brown發表了SIFT特徵進行圖像拼接的方法，但計算量很大，2007年Seong Jong Ha提出移動相機系統的全景拼接方法，不只保證效果，並且運算速度也不錯。

        在國內方面，也有很多高校科研機構對視頻拼接技術及應用進行研究，其中，上海凱視力成信息科技有限公司研發的「全景視覺態勢感知系統」 最具表明性，該系統功能完善、技術先進、性能可靠，並已成功應用於多種車型。

        上海凱視力成信息科技有限公司全景視覺態勢感知系統——PVS9112型是實時的全固態無機械運動的高清360度凝視視頻系統，系統提供實時的連續覆蓋整個戰場的全運動視頻，人機交互界面直觀快捷。系統適應於惡劣環境，支持彩色和紅外傳感器，能夠黑天和白天全天候工做，實時地圖像處理和高清視頻的顯示，顯示界面同時提供360度全景窗口和感興趣區域的高清畫面。系統提供開發式結構，便於同其它系統如雷達等集成到一塊兒，以得到一個完整的態勢理解。

 

傳感頭：

  

圖8  幾種傳感頭

圖形界面：

圖9  PVS9112圖形界面

特色:

• 實時的360度視頻全景顯示，便於對態勢的感知理解、安全監視、目標探測。從而提升平臺的攻擊能力和安全防禦性。
• 支持高清彩色和紅外傳感器。日夜都可工做。
• 顯示全局拼接畫面、局部感興趣。
• 圖形交互界面。並支持多種人機交互接口，支持觸摸屏、鼠標、鍵盤、自定義按鍵、操縱搖桿等，可無縫接入已有系統。
• 無運動部件，高可靠性。
• 適應車船飛機等惡劣的工做環境。

可選特徵:

• 目標檢測與告警
• 自動多目標跟蹤
• 視頻記錄和回放
• 可選支持PTZ長距離光電探測系統，在全景視頻上能夠經過觸摸的方式控制PTZ的快速轉動到指定的位置，克服了傳統操控PTZ方式的缺陷，使得PTZ攝像機的功效大大提升。
• 圖像透霧加強算法
• 電子穩像算法

開放式體形架構：

 

2、應用

        從圖像拼接的實際應用來看，主要有大型航空照片，衛星圖像拼接，車載系統監控，虛擬場景實現，視頻壓縮；不少資料上都說起車載系統的拼接，這種拼接偵查系統能夠用於不一樣車輛，如反恐、安全監視、偵察、巡邏和警車等；系統給操做者提供車輛周圍的實時全景圖像，使之可以感知全面而豐富的態勢，操縱車輛的同時還能夠有效將本身保護在車內，不用經過車輛的擋風玻璃就能夠實時操控。全景圖像極大地加強了用戶的視覺感知系統，使其在特種車輛、軍用以及民用方面都擁有廣闊的市場前景。與傳統的多畫面監控相比，全景拼接畫面更符合人眼觀察，極大地提升了偵察的準確性。但不多說起機載系統，所以，機載方面只要設計合理，應用前景是巨大的。

應用實例：

        方式一：基本模式

        攝像機組 + 一或兩個終端，支持記錄或不記錄，每一個終端所顯示內容能夠不一樣。

        方式二：加強模式

        攝像機組 + 2以上終端，可經過GigE網絡來擴展鏈接其餘設備，如視頻記錄儀等。 採集和預處理模塊，實現對視頻信號的捕獲，並對攝像機組進行管理，如PTZ控制等。在這一層，實現對不一樣路數、不一樣接口形式的攝像機的支持。並做必要的預處理功能，如圖像的縮放平移投影變換、數據壓縮等，爲後續處理器準備好數據。模塊還經過多個GigE網絡，將視頻數據分發給多個不一樣的處理器或其它設備，如視頻記錄儀等。這種組成結構，可適應不一樣應用需求：如不一樣的攝像機種類和數量，終端處理功能要求不一樣等等。

 

關於視頻拼接產品的介紹