高德地圖首席科學家任小楓QA答疑彙總丨視覺+地圖技術有哪些新玩法？

上週，阿里巴巴高德地圖首席科學家任小楓在#大咖學長雲對話#的在線直播活動上就計算機視覺相關技術發展以及在地圖出行領域的應用與你們作技術交流，直播間互動火爆，尤爲在QA環節，學弟學妹們紛紛就感興趣的視覺應用、AR導航、定位技術、5G、職業發展等話題提問，任小楓作了精彩回答。咱們整理了問答內容，分享給你們。

視頻回放地址：

https://vku.youku.com/live/il...

 

任小楓博士，現任阿里巴巴高德地圖首席科學家，研究員，主要負責視覺技術在地圖和出行領域的應用和創新。加入阿里巴巴前，他在2013到2017年間供職於亞馬遜，是亞馬遜的資深主任科學家和AMAZON GO的算法負責人。浙江大學本科畢業，加州大學伯克利分校博士，華盛頓大學計算機系客座教授，CVPR/ICCV/AAAI等會議領域主席，IEEE PAMI副主編。

視覺技術發展及應用

提問：計算機視覺在高精度地圖構建中的應用有哪些？

任小楓：視覺算法對於高精度地圖構建是核心的技術，主要應用在資料對齊和精度保證、識別和地圖數據自動化生成、視覺定位和高精地圖更新等。

提問：您以爲現有的基礎學科研究水平與硬件水平可否保證視覺技術的快速發展？視覺技術發展在近期會不會遇到較難突破的瓶頸？

任小楓：通過了前幾年深度學習技術在視覺各個領域的快速發展，必定程度上說，深度學習和視覺的基礎技術如今都遇到了瓶頸。或者說，沒有開始的時候發展的那麼快，有不少難題須要解決，也可能須要創造新的技術。對於應用而言，我以爲基礎技術和硬件水平目前大體是夠用的，更重要的是如何把技術用好，有針對性的去突破技術瓶頸。

提問：單目標跟蹤SOT（給定模版跟蹤單個目標，類別無關/可跨域）近兩年的進展很是顯著，具備解決快速跟蹤的潛質，想請問目前有沒有在地圖業務這邊好比視覺定位（VO中跟蹤路標）/AR導航（短時跟蹤）中應用的前景？若是有的話，請問須要解決什麼樣的需求問題（魯棒/速度等）？

任小楓：跟蹤是一個視覺基礎技術，在不少場景都有應用。對於導航和出行，確實在AR導航、定位上能起到核心做用，減小識別（檢測）的計算需求，並增長魯棒性和平滑性。可是在不少實際應用中，跟蹤的使用和需求和學術界單目標跟蹤的設置會有所不一樣。

提問：視覺特徵是否能結合語義給地圖的導航出行服務帶來更好的體驗呢？

任小楓：視覺能夠提供高精度的定位，也能夠提供場景的語義理解，確定能夠帶來導航和出行更好的體驗。可是具體的產品體驗和技術實現還須要進一步的探索和積累。

提問：計算機視覺下一步的重難點是哪一個方向？將來的前景如何？

任小楓：計算機視覺是一種通用的感知手段，信息量很大，能夠用於多種感知任務，能夠遠距離觀測，應用的前景是很廣闊和美好的。下一步的難點，除了基礎技術須要進步和突破外。還有：如何找到視覺能發揮核心做用的應用場景，如何根據實際問題綜合各種算法設計總體方案，如何較好的解決計算資源的問題，如何結合其餘傳感器和先驗知識等問題。

AR導航

提問：AR導航是實時圖像計算的嗎？設備算力能夠打標嗎？

任小楓：AR導航是實時圖像計算，在低算力的條件下實現導航和輔助駕駛功能。咱們也儘量的進行「預計算」，事先計算好環境中的一些元素，來配合實時計算。

提問：AR導航最後經過什麼來展現內容？顯示屏仍是HUD？

任小楓：AR導航有多種產品形態：中控屏、HUD、後視鏡、儀表盤，這些都是正在使用/潛在使用的展現方式。

提問：有一個非技術性的問題，AR導航會不會過分吸引駕駛員的注意力，致使他/她忽略車輛兩側的交通？

任小楓：這是一個產品設計的好問題，也是咱們一直在打磨和尋求平衡的問題。一個設計的好的AR導航產品，會考慮到不過多吸引注意力。

提問：安全輔助駕駛會有疲勞駕駛檢測嗎？

任小楓：高德的AR導航目前只有朝外的單目相機，沒有支持疲勞駕駛檢測。對車內的監控，包括疲勞檢測，是視覺技術在安全輔助駕駛的一個重要應用。

定位技術

提問：室內定位如今主流實現技術有哪些？基於聲信號的室內導航前景好嗎？

任小楓：室內定位有多種基於傳感器的技術，包括WiFi,Bluetooth,RFID,Ultra-Wideband，也包括聲信號。我以爲室內定位的發展，若是須要部署傳感器，很大程度上不是取決於技術和定位精度，而是是否有好的應用。WiFi定位的普及是由於室內網絡須要WiFi。iPhone 11裝了UWB芯片能夠近距離文件傳輸。

提問：GPS定位那麼大的差距是什麼緣由致使的？由於多路徑效應嗎？

任小楓：GPS定位不許有多個緣由，主要是在「城市峽谷」（高樓林立）的場景。多路徑效應是其中最重要的因素，由於環境的折射（特別是像玻璃這樣的高反光材料），致使GPS位置計算不許。其餘方面還有由於樓宇/高架橋的遮擋致使能觀察到的衛星數下降，空氣（特別是帶電離子和水蒸氣）的干擾，等多種緣由。

提問：高德如何解決GPS漂移的問題？

任小楓：這是一個複雜的問題。基於手機傳感器，咱們結合實際的駕駛和步行場景作了不少優化，包括GPS置信度分析，和IMU結合，和路網結合等。視覺定位是咱們在開拓的解決定位不許的一個新方向。

地圖基礎技術

提問：目前高德地圖圖層有哪些？是語義級高精度地圖嗎？

任小楓：高德地圖有多種地圖數據形態，從標準地圖（高德App上看到的），到車道級地圖，到高精地圖。精度不一樣，對應的應用不一樣。多種地圖中都有語義信息，可是語義信息的內容和精度會有不一樣。

提問：深度相機和普通的相機有什麼區別？

任小楓：普通相機獲取的信息是二維RGB圖像，沒有三維信息。深度相機在每一個像素上，除了RGB顏色以外，也同時獲取深度（距離）信息，通常是利用主動模式（time-of-flight, structured light等）。如今不少主流手機上都已經配備了深度相機。

提問：高德地圖對道路信息是怎麼採集的，道路有變化地圖會實時更新麼？

任小楓：高德地圖道路信息有多個來源，主要是依靠低成本的車載視頻資料。道路相關信息是在隨時變化的，咱們會不斷的採集最新資料並製做更新地圖數據，及時上線應用。

提問：室內三維空間（好比多層的商業大樓）地圖繪製的難點有哪些？

任小楓：室內三維地圖繪製最大的難點在於數據採集。三維重建的方法須要有多個角度的圖像。基於深度相機的移動建模方法精度上不必定能知足需求。

新人職業成長

提問：從視覺和圖像領域的學術研究領域到公司商業計算機視覺應用技術開發須要補充哪些知識？

任小楓：我以爲主要要考慮的不是補充具體的知識，而是要注意培養本身的各方面的能力：（1）對實際問題的分析和解決的能力；（2）動手能力；（3）快速學習和拓展知識的能力。

提問：從事計算機視覺領域該如何制定職業規劃？

任小楓：和其餘行業和技術方向的職業規劃沒有本質的區別，要結合自身的長/短處和興趣，找到本身合適的工做方向，逐步提升技術深度，廣度，高度，綜合能力，一步步作出實際結果發展職業。

提問：請問如今從事視覺領域工做是否必定要具有深度學習的技能？

任小楓：計算機視覺如今大量的使用深度學習技術，深度學習的知識和技術我以爲是必須的。有一些和幾何相關的子領域，好比三維重建、SLAM/VIO，深度學習應用的還很少，可是（1）後續預計會有更多的深度學習應用；（2）從提升技術廣度和視野出發，也須要必定程度上了解深度學習。

業界熱點及其餘

提問：自動駕駛會用到5G技術嗎？

任小楓：目前看來，5G技術會在自動駕駛上有多種應用，但對於L4/L5全自動駕駛，我以爲5G並不能從根本上解決自動駕駛安全性（和溫馨性）的難題。

提問：跟蹤和定位中的計算端和雲如何配合？

任小楓：大致上來講，實時性要求高的，和傳感器結合密切的，會在端上完成；和地圖結合密切的，須要用到大量參考數據的，會在雲上完成。

提問：谷歌地圖有一個街景地圖的模塊用到了許多圖像識別的技術，街景地圖怎麼拼成的？以及街景發展趨勢是怎樣的？

任小楓：谷歌地圖的街景地圖主要來自於谷歌本身的街景採集車，車上載有高質量的相機和組合慣導等傳感器。街景地圖主要是一個拼接的過程。街景地圖頗有意思，但尚未對導航和出行的體驗帶來根本的變化。谷歌最近的AR步行導航（這個和高德的車載AR導航不一樣）是基於街景地圖的一個新應用。

提問：可穿戴設備（相似眼鏡、智慧助手等）在視覺技術上如何更好的落地以及產品化？

任小楓：硬件（AR展現，算力）和體驗是可穿戴設備要真正落地和普及的主要問題。Google Glass做爲一個超前的產品，在硬件上受限制太大。目前AR眼鏡的應用主要在企業場景。我我的以爲可穿戴設備做爲我的助手（包括導航，信息展現等）的應用前景是很好的，但如今硬件條件可能還不成熟。