衛星影像識別技術在高德數據建設中的探索與實踐

導讀
對於地圖服務而言，地圖數據的準確率和覆蓋率是服務質量的關鍵因素，而地圖數據的更新，依賴於多種信息源，如軌跡熱力，實採圖像，衛星影像等。近年來，因爲遙感衛星數量的增多及高分辨率光譜相機的出現，以及衛星影像圖自身覆蓋廣、視角好、信息豐富的特色，衛星影像做爲地圖數據更新的信息源起到了愈來愈重要的做用。

對於衛星影像的使用方式，高德經歷了由前端用戶展現，到人工數據做業參考，再到主動發現更新地圖數據的進化過程，這同時也是咱們不斷挖掘影像數據價值的過程。本文會介紹高德視覺團隊將衛星影像從被動參考升級爲主動發現的過程當中的探索和實踐。

衛星影像關鍵元素

按照幾何結構劃分，影像元素可分爲三大類：道路元素(road)，地物元素(region)，建築物元素(building)：

道路元素：包含普通道路，精細道路（主/輔路/非機動車道，提早右轉路），鏈接點（貫穿路、出入口、掉頭口、路口等）。

地物元素：包含建築區域、拆遷區域、水域、農田、山區、林地、大棚等。

建築物元素：建築物樓塊。

衛星影像在數據更新上的優點

路網是地圖數據的基礎，全部的道路屬性、動態事件、POI引導都須要基於準確的路網數據信息。而衛星影像因爲具備上帝視角，對區域內路網的鏈接關係、複雜的路口關係、平立交關係的判斷具備全局而豐富的信息支撐。同時，因爲衛星影像覆蓋廣、成本低的特色，對於熱力稀疏或者採集車難以覆蓋的區域，能夠進行很好的路網數據補充。

路網三大信息源：熱力、衛星影像、實採

做爲用戶導航的終點，POI（「Point of interest」的縮寫，在地圖數據中，一個POI能夠是一棟房子、一個商鋪、一個公交站等）座標位置的準確性十分重要。經過高德POI中Top1000w的統計，70%的POI須要與樓塊進行綁定，POI到達點與沿街樓塊具備強依賴關係。

POI與樓塊強相關性

衛星影像識別技術探索實踐

衛星影像精細語義分割(Semantic)

在語義分割上，爲了提高算法精度，咱們將主要方向聚焦在上下文信息的結合，如使用了U-Net結構、ASPP、Non-local等對信息的聚合具備做用的結構。同時引入了Attention增強了網絡對圖像顯著區域，即當前分割任務所關注的類別進行了注意力聚焦，使得效果達到進一步提高。

• U-Net結構

因爲影像圖像語義較爲簡單、結構較爲固定，高級語義信息和低級特徵都顯得很重要，所以咱們選用了U-Net做爲網絡的基礎結構。Encoder-Decoder分別下采樣4次+上採樣4次，將Encoder獲得的高級語義特徵圖恢復到原圖片的分辨率。

相比於FCN和Deeplab等，U-Net共進行了4次上採樣，並在同一個Stage使用了Skip Connection，而不是直接在高級語義特徵上進行監督和Loss反傳，這樣就保證了最後恢復出來的特徵圖融合了更多Low-Level的Feature，也使得不一樣Scale的Feature獲得了融合，從而能夠進行多尺度預測和DeepSupervision。4次上採樣也使得分割圖恢復邊緣等信息更加精細。

• ASPP

使用不一樣擴張率的擴張卷積，並進行特徵結合，獲得多尺度特徵，同時獲得全局信息和局部信息。

• Attention

關注圖像顯著區域，將U-Net的淺層和對應的深層進行信息結合後，獲得Attention的參數，再做用於當前深層，獲得最終Attention的結果輸出。

• Non-local

特定層的卷積核在原圖上的感覺野(local)是有限的，Non-local經過將空間中不一樣像素間的關係編碼到當前層的輸出，從而將全局信息加入到輸出結果中，就能很好地解決local操做沒法看清全局的狀況，爲後面的層帶去更豐富的信息。

U-Net結構（左上） Attention(左下) Non-local(右上) ASPP(右下)

影像樓塊實例分割(Instance)

實例分割有兩種主流方法，第一種是基於目標檢測，在獲得目標檢測框以後再在框內作語義分割前景和背景，因爲這種方法須要藉助目標檢測中的區域提議，所以該方法稱爲Proposal-Based方法。

另外一種方法是，在語義分割圖的基礎上，將像素彙集到不一樣的實例上，這種被稱爲Proposal-Free方法。咱們對兩種主流方法進行了對比實驗，因爲樓塊具備多樣性、「矮胖結構」的特色，Proposal-Based方法效果要優於Proposal-Free方法。

對於樓塊數據而言，重要的表達內容是樓塊的底座位置及其形狀。然而因爲影像拍攝視角問題，部分高樓在視覺上呈現斜射的效果，部分基座邊緣被遮擋，爲識別形成了極大的難度。

通過數據分析與推算，咱們發現絕大多數的樓塊底座形狀是和樓頂形狀一致的，所以咱們採用了樓頂分割+樓頂到基座偏移量的多任務學習方案，將分割出的樓頂形狀加上一個樓頂到基座的偏移向量，對基座的形狀和位置進行了一個比較理想的還原。

多元素識別效果展現

針對衛星影像不一樣元素的圖像特徵與拓撲結構關係，咱們設計了多個識別模型，包含普通道路識別、精細路網識別、地物分類識別、樓塊識別等，做用於高德多種類別的數據更新。

普通道路識別（左上） 精細路識別(右上) 地物分類(左下) 樓塊識別(右下)

將來展望&挑戰

• 路網數據的準確/快速更新

用戶在使用導航過程當中可能會遇到一些場景：好比爲何這裏有條新路卻給導航了一條繞遠的路？爲何導航了一條已經不能走的路？爲何原本這裏能夠掉頭卻還要往前多走幾千米才能掉頭？這些由路網數據錯誤致使的導航誤差，是咱們將來須要解決的核心問題，也是業界的難題。將來咱們指望經過視覺算法層面的優化，經過多采集源的融合預測，經過提早發現建設中道路等一系列手段，來快速感知到現實世界中發生的路網變化。

• 數字城市中的樓塊與AOI建設

對於數字城市來講，樓塊和AOI（興趣區，Area Of interest）是重要的元素之一：如用戶想要前往某個店鋪，實際導航的到達點是店鋪所在的樓塊；用戶想要前往某個小區的某個樓，實際導航的到達點是小區的入口，所以樓塊與AOI的準確與完備直接影響到用戶導航最後幾百米的使用感覺。同時結合最近的疫情防控，數字城市中的樓塊和AOI信息能夠對寫字樓、小區等區域的疫情防控提供有力的數據支持。將來咱們指望經過結合衛星影像的發現能力，進一步完善數字城市的數據建設，鏈接真實世界，讓出行更美好。