三種主流深度相機介紹

隨着機器視覺，自動駕駛等顛覆性的技術逐步發展，採用 3D 相機進行物體識別，行爲識別，場景 建模的相關應用愈來愈多，能夠說深度相機就是終端和機器人的眼睛，那麼什麼是深度相機呢，跟以前的普通相機（2D）想比較，又有哪些差異？ 深度相機又稱之爲3D相機，顧名思義，就是經過該相機能檢測出拍攝空間的景深距離，這也是與普通攝像頭最大的區別。

普通的彩色相機拍攝到的圖片能看到相機視角內的全部物體並記錄下來，可是其所記錄的數據不包含這些物體距離相機的距離。僅僅能經過圖像的語義分析來判斷哪些物體離咱們比較遠，哪些比較近，可是並無確切的數據。而 深度相機則偏偏解決了該問題，經過深度相機獲取到的數據，咱們能準確知道圖像中每一個點離攝像頭距離，這樣加上該點在 2D 圖像中的(x,y)座標，就能獲取圖像中每 個點的三維空間座標。經過三維座標就能還原真實場景，實現場景建模等應用。

深度相機的方法分類以下表所示：

 

 

目前市面上常有的深度相機方案有如下三種。

(1)結構光(Structured-light)，表明公司有奧比中光，蘋果(Prime Sense)，微軟 Kinect-1，英特爾 RealSense, Mantis Vision 等。 

(2)雙目視覺(Stereo)，表明公司 Leap Motion， ZED， 大疆;

(3)光飛行時間法(TOF)，表明公司微軟 Kinect-2，PMD，SoftKinect， 聯想 Phab。

固然還有光場相機，有興趣能夠關注微信公衆號文章

 

如下具體介紹幾種這三種深度相機的原理：

 

結構光深度相機

結構光，英文叫作 Structured light，其原理是基本原理是，經過近紅外激光器，將具備必定結構特徵的光線投射到被拍攝物體上，再由專門的紅外攝像頭進行採集。這種具有必定結構的光線，會因被攝物體的不一樣深度區域，而採集不一樣的圖像相位信息，而後經過運算單元將這種結構的變化換算成深度信息，以此來得到三維結構。簡單來講就是，經過光學手段獲取被拍攝物體的三維結構，再將獲取到的信息進行更深刻的應用。一般採用特定波長的不可見的紅外激光做爲光源，它發射出來的光通過 必定的編碼投影在物體上，經過必定算法來計算返回的編碼圖案的畸變來獲得物體的位置和深度信息。根據編碼圖案不一樣通常有：

條紋結構光，表明傳感器 enshape ，

編碼結構光，表明傳感器 Mantis Vision, Realsense(F200), 

散斑結構光 ，表明傳感器 apple(primesense), 奧比中光。

下圖是一個典型的結構光相機的示意圖:

 

 

結構光（散斑）的優勢主要有：

 1）方案成熟，相機基線能夠作的比較小，方便小型化。

 2）資源消耗較低，單幀 IR 圖就可計算出深度圖，功耗低。

 3）主動光源，夜晚也可以使用。

 4）在必定範圍內精度高，分辨率高，分辨率可達 1280x1024,幀率可達 60FPS。

 

 散斑結構光的缺點與結構光相似： 

1）容易受環境光干擾，室外體驗差。 

2）隨檢測距離增長，精度會變差。

 

目前結構光技術有以下幾種變種：一種是單目IR+投影紅外點陣，另一種是雙目IR+投影紅外點陣，這樣至關於結構光+雙目立體融合了，深度測量效果會比前者好一些，好比Intel RealSense R200採用的就是雙目IR+投影紅外點陣，不足之處就是體積較大。而單目IR+投影紅外點陣的方案雖然體積較小，可是效果會差一點。

 

TOF

顧名思義是測量光飛行時間來取得距離，具體而言就是經過給目標連續發射激光脈衝，而後用傳感器 接收從反射光線，經過探測光脈衝的飛行往返時間來獲得確切的目標物距離。由於光速激光，經過直接測 光飛行時間實際不可行，通常經過檢測經過必定手段調製後的光波的相位偏移來實現。 TOF 法根據調製方法的不一樣，通常能夠分爲兩種：脈衝調製（Pulsed Modulation）和連續波調製 （Continuous Wave Modulation）。脈衝調製須要很是高精度時鐘進行測量，且須要發出高頻高強度激光，目 前大多采用檢測相位偏移辦法來實現 TOF 功能。簡單來講就是，發出一道通過處理的光，碰到物體之後會反射回來，捕捉來回的時間，由於已知光速和調製光的波長，因此能快速準確計算出到物體的距離。

其原理示意圖：

 

 

由於 TOF 並不是基於特徵匹配，這樣在測試距離變遠時，精度也不會降低很快，目前無人駕駛以及一些高 端的消費類 Lidar 基本都是採用該方法來實現。 TOF 的優勢主要有：

 1）檢測距離遠。在激光能量夠的狀況下可達幾十米。 

2）受環境光干擾比較小。 

 

可是 TOF 也有一些顯而易見的問題： 

1）對設備要求高，特別是時間測量模塊。 

2）資源消耗大。 該方案在檢測相位偏移時須要屢次採樣積分，運算量大。 

3）邊緣精度低。 

4）限於資源消耗和濾波，幀率和分辨率都沒辦法作到較高。

 

目前消費類最大也就 VGA。 從上面三種主流的 3D 相機成像方案來看，各有優劣，可是從實際應用場景來看，在非無人駕駛領域，結構 光，特別是散斑結構光的用途是最普遍。由於從精度，分辨率，還有應用場景的範圍來看雙目和 TOF 都沒 有辦法作到最大的平衡。並且對於結構光容易受環境光干擾，特別是太陽光影響問題，鑑於此類相機都有 紅外激光發射模塊，很是容易改造爲主動雙目來彌補該問題。

 

 

 

結構光與TOF的對比

對比來看，結構光技術功耗更小，技術更成熟，更適合靜態場景。而TOF方案在遠距離下噪聲較低，同時擁有更高的FPS，所以更適合動態場景。

目前，結構光技術主要應用於解鎖以及安全支付等方面，其應用距離受限。而TOF技術主要用於智能機後置攝影，並在AR、VR等領域（包括3D拍照、體感遊戲等）有必定的做用。

 

3D結構光和TOF二者其實各有優劣勢。結構光最大的優點是發展的較爲成熟，成本比較低，劣勢是隻適合中短距離使用。ToF優點是抗干擾性較好，視角較寬，缺陷是功耗高，造價貴，精度及深度圖分辨率較低。兩項技術各有側重點和適配使用場景。

 

雙目立體視覺

雙目立體視覺(Binocular Stereo Vision)是機器視覺的一種重要形式，他是基於視差原理並利用成像設備 從不一樣的位置獲取被測物體的兩幅圖像，經過計算圖像對應點間的位置誤差，來獲取物體三維幾何信息的 方法。

 

固然完整的雙目深度計算很是複雜，主要涉及到左右相機的特徵匹配，計算會很是消耗資源。 雙目相機的主要優勢有：

 1）硬件要求低，成本也低。普通 CMOS 相機便可。

 2）室內外都適用。只要光線合適，不要太昏暗。

 

 可是雙目的缺點也是很是明顯：

 1）對環境光照很是敏感。光線變化致使圖像誤差大，進而會致使匹配失敗或精度低

 2）不適用單調缺少紋理的場景。雙目視覺根據視覺特徵進行圖像匹配，沒有特徵會致使匹配失敗。

 3）計算複雜度高。該方法是純視覺的方法，對算法要求高，計算量較大。 

 4）基線限制了測量範圍。測量範圍和基線（兩個攝像頭間距）成正比，致使沒法小型化。

 

三種深度相機的對比

 

 

以上就是所有內容，可能存在一些錯誤歡迎指示，並能夠發郵件交流，您能夠能夠關注微信公衆號。加入咱們翻譯小組或者加入經營微信公衆號羣，也加入技術交流羣與跟多的小夥伴一塊兒交流。