Google AI：機器學習預測場景深度圖，模擬人眼更進一步
來源：Google AIhtml
編輯：大明算法
轉載自：新智元（ID：AI_era）網絡
【新智元導讀】谷歌近日推出了在計算機視覺領域模擬重建人類視覺的新模型，與以往方法不一樣的是，新模型利用AI，經過普通Youtube視頻預測深度圖，能夠在場景內的攝像頭和人同時運動的複雜狀況下生成天然視頻。
人類的視覺系統具備非凡的能力，能夠從2D投影中理解3D世界。即便在包含多個移動物體的複雜環境中，人也可以對物體的幾何形狀和深度的排序進行可行的解釋。長期以來，計算機視覺領域都在研究如何經過2D圖像數據計算重建場景的幾何特徵，來實現和人類相似的能力，但在許多狀況下，仍然難以實現具有充分魯棒性的重建。
機器學習
當攝像頭和場景中的物體都在自由移動時，是實現重建的最困難的狀況。這種狀況混淆了基於三角測量的傳統3D重建算法，該算法假設能夠同時從至少兩個不一樣的觀察點觀察到相同的對象。知足這個假設須要一個多攝像頭陣列，或者單攝像頭移動，但場景目標自己是靜止狀態。所以，現有的大多數方法要麼須要過濾掉移動的目標（將移動目標的深度固定爲「零」），要麼直接忽略移動目標（會致使深度值發生錯誤）。學習
左圖：傳統的立體設置假設至少有兩個觀察點在同時捕捉場景。右圖：咱們考慮攝像頭和拍攝對象都在移動的狀況。
測試
咱們經過基於深度學習的方法來解決這個基本問題，該方法能夠從普通視頻中生成深度圖，場景中的攝像頭和主體目標均可以自由移動。模型從數據中學習人體姿式和形狀的先驗知識，無需直接3D三角測量。儘管最近使用機器學習進行深度預測逐漸興起，但這項工做是第一個針對同時在攝像頭和目標都在運動的狀態下的基於學習的方法。ui
本研究中的觀察目標是人類，人類是加強現實和3D視頻效果的有趣目標。google
咱們的模型能夠預測深度圖（右圖，離攝像頭越近，圖中越亮），場景中的人和攝像頭都在自由移動。spa
訓練數據3d
咱們以監督學習的方式訓練深度預測模型，該模型須要經過移動的攝像頭捕獲的天然場景視頻以及精確的深度圖。關鍵問題是從何處獲取此類數據。綜合生成數據須要對各類場景和天然人類行爲進行逼真的建模和渲染，這是很困難的任務。
此外，針對這樣的數據訓練的模型可能難以推廣到真實場景中。另外一種方法多是用RGBD傳感器（如微軟的Kinect）記錄真實場景，但深度傳感器一般僅限於室內環境，並且要面臨3D重建上的一系列問題。
咱們利用現有的數據來進行監督學習：即YouTube視頻，視頻中的人們經過本身定格在各類天然姿式，模仿人體模特效果，而手持攝像機則在現場記錄。
由於整個場景是靜止的（只有攝像機在移動），因此基於三角測量的方法是行得通的，能夠得到包括其中人物在內的整個場景的精確深度圖。咱們收集了大約2000個這樣的視頻，涵蓋了各類逼真的場景，場景中的人按照不一樣的分組配置天然分佈。
人們在攝像頭在場景中移動時模仿人體模特，咱們將其做爲訓練數據。咱們使用傳統的MVS算法來估計深度，並在深度預測模型的訓練中將其用於監督。
推斷移動中的人的場景深度
Mannequin挑戰視頻對移動中的攝像機和「定格」的人進行深度監控，但咱們的目標是利用移動的攝像頭和移動的人來處理視頻。咱們須要構建網絡輸入來彌補這一差距。
一種可能的方法是爲視頻的每一幀都進行深度圖推斷（也就是對模型的輸入至關於單幀圖像）。雖然這種模型改進了用於深度預測的最早進的單幀方法，可是咱們能夠經過來自多幀的信息組合來進一步改善結果。好比運動視差，即兩個不一樣視點之間的靜態物體的明顯的相對運動，就對深度推斷提供了有力線索。爲了充分利用這些信息，咱們計算了視頻中每一個輸入幀和另外一幀之間的2D光流，用它表示兩幀之間的像素位移。
這些光流場取決於場景的深度和攝像頭的相對位置。可是，因爲攝像頭位置是已知的，能夠從流場中去除兩者之間的依賴關係，由今生成初始深度圖。此初始深度僅對靜態場景區域有效。爲了在測試時處理運動中的人，能夠利用人工分割網絡來蓋住初始深度圖中的人類區域。這樣，咱們網絡的完整輸入包括：RGB圖像、蓋住人類的區域，以及基於視差的遮蓋後的深度圖。
深度預測網絡：模型的輸入包括RGB圖像（第t幀），人類區域的遮蓋和非人類區域的初始深度，根據輸入幀與另外一個之間的運動視差（光流）計算視頻中的幀。模型輸出第t幀的完整深度圖。由MVS算法計算出的深度圖負責對訓練過程的監督。
該網絡的做用是「修復」人與場景的深度值，並在其餘地方細化深度值。由於人類的外形和大小特徵幾乎一致，網絡能夠經過觀察多個訓練樣例，在模型內部學習這些先驗知識。通過訓練後，模型就能夠處理任意攝像頭和人體同時運動的視頻。
來看一段介紹視頻：
如下是基於視頻的深度預測模型結果的一些示例，並與最近基於最新學習的方法作了比較。
上圖：基於學習的單眼深度預測方法。 下圖：基於學習的立體方法（DeMoN）和咱們的估計深度圖的結果。
使用深度圖處理3D視頻效果
咱們預測的深度圖可用於產生一系列3D感知視頻效
使用估計深度圖產生的散景效果
咱們的深度圖也可用於其餘方面的應用，包括利用單眼視頻生成立體視頻，將合成CG對象插入場景，還能夠在視頻的其餘幀中顯示內容的狀況下進行場景區域的填充。
參考連接：
https://ai.googleblog.com/2019/05/moving-camera-moving-people-deep.html
往期精選
- 加入社羣吧 -