本文試圖歸納Semantic SLAM的主要思路和近年工做，⻓期更新。但因水平有限，如有錯漏，感謝指正。 （更好的公式顯示效果，可關注文章底部的公衆號）web
Semantic SLAM
簡介
至今爲止，主流的 SLAM 方案 [1] 基於處於像素層級的特徵點，更具體地，它們每每只能用角點或邊緣來提取路標。人類是經過物體在圖像中的運動來推測相機的運動，而非特定像素點。算法
Semantic SLAM 是研究者試圖利用物體信息的方案，其在Deep Learning的推進下有了較大的發展，成爲了相對獨立的分支，就方法（非設備）而言，其在整個SLAM領域所處位置以下圖：網絡
目前而言，所謂 Semantic 是將基於神經網絡的語義分割、目標檢測、實例分割等技術用於 SLAM 中，多用於特徵點選取、相機位姿估計，更普遍地說，端到端的圖像到位姿、從分割結果建標記點雲、場景識別、提特徵、作迴環檢測等使用了神經網絡的方法均可稱爲 Semantic SLAM [2]。app
語義和 SLAM 的結合的體現有如下兩點 [3]：框架
-
SLAM 幫助語義。dom
檢測和分割任務都須要大量的訓練數據，在 SLAM 中，因爲咱們能夠估計相機的運動，那麼各個物體在圖像中位置的變化也能夠被預測出來，產生大量的新數據爲語義任務提供更多優化條件，且節省人工標定的成本。函數
-
語義幫助 SLAM。性能
一方面，語義分割把運動過程當中的每一張圖片都帶上語義標籤，隨後傳統 SLAM 將帶標籤的像素映射到3D空間中，就能獲得一個帶有標籤的地圖。這提供了高層次的地圖，有利於機器人自主理解和人機交互。優化
另外一方面，語義信息亦可爲迴環檢測、Bundle Adjustment 帶來更多的優化條件，提升定位精度。3d
僅實現前者的工做每每稱爲 Semantic Mapping，後者才認爲是真正的 Semantic SLAM。
發展方向
分別從 Semantic Mapping 和 Real Semantic SLAM 兩方面，介紹一些主要思路。
Semantic Mapping
這類工做要求特徵點是 dense 或 semi-dense 的（不然 Mapping 無心義），所以每每用 RGB-D 的 SLAM 方案，亦或是單目相機的 semi-dense LSD-SLAM 方案 [4]。
有兩種 Mapping 方式：
-
將2D圖像的語義分割結果，即帶標籤的像素，映射到3D點雲中。
研究人員嘗試讓 SLAM 所得的信息（特別是相機位姿），可以提升語義分割的性能。其中一種是使用 SemanticFusion [5] 的 Recursive Bayes 方法：根據 SLAM 對像素點運動的估計，當前幀的像素的語義分類機率 與 前一幀舊位置上的分類機率相乘做爲最終機率，即像素的機率會沿着各幀累乘，於是加強語義分割的結果。
這一方法被基於單目相機的工做 [6] 沿用，總體框架描述以下。
LSD-SLAM + DeepLab-v2 （語義分割）
流程：輸入 -> 選關鍵幀並 refine（非關鍵幀用於加強深度估計）-> 2D語義分割 -> 語義優化+3D重建
① 爲保證速度，僅對關鍵幀來進行語義分割，
② 其餘幀用 small-baseline stereo comparisons [7] 對關鍵幀作深度估計的優化
③ 使用 Recursive Bayes 加強語義分割
④ 3D重建的優化使用條件隨機場（CRF），同 SemanticFusion
-
第二種 Mapping 方式則以 Object 爲單位構建地圖 [8][9]。相比於一堆標記了類別的 voxel，包含一個個物體的語義地圖，將更有價值。
此部分的重點在於如何作數據關聯（Data Association），即跟蹤已識別 Object 和發現新 Object，以 [8] 爲例描述以下。
使用 RGB-D 和 ORB-SLAM2 可構建一個 dense 的點雲。
對於關鍵幀，SSD 檢測出多個 Object，應用無監督的3D分割方法 [10] 爲每個 Object 分配點雲序列，並存儲起來。
數據關聯：獲得一組分割結果（Object, 對應點雲）後，據點雲重心的歐式距離，在找出最接近的一組候選 Object，若是超過 50% 的點對的距離小於一個閾值（文中 2cm），就認爲是匹配到的 Object，不然認爲是新 Object，存儲下來。
匹配爲同一 Object 的兩個點雲，直接累加分類機率（置信度）。這和上文提到的 Recursive Bayes 方法很像，即利用 SLAM 提供的物體多角度信息，加強分割結果。
（注：本文的 Related Work 寫得很好）
Real Semantic SLAM
此部分爲本文的重點。相對來講，真正的 Semantic SLAM （即語義建圖和 SLAM 定位相互促進）發展較晚（基本是2017年後）。
在 Bundle Adjustment (BA) 方法中，咱們同時優化相機位姿和 3D 座標位置，使得重投影到 2D 圖像的像素點與實際觀測（多個相機，多個特徵點）的總偏差最小。
那麼如何將語義信息融合進來呢？
-
思路一：同個 3D 點重投影以後，應保持語義一致。
這又是重投影優化問題，能夠加入到 BA 公式中增強優化目標，關鍵是如何量化重投影偏差，就好像傳統 BA 的重投影偏差經過與實際觀測的像素距離來量化。
ICRA 2017 的著名工做 Probabilistic Data Association for Semantic SLAM [11] 使用了此思路，其量化重投影偏差的方法在於：使用機率模型計算出來的物體中心，重投影到圖像上，應該接近檢測框的中心。而數據關聯（到底要接近哪一個檢測框中心），由一組權重決定，最後 「BA」 和 「權重更新」 經過 EM 算法交替優化。
ECCV 2018 上的工做 VSO [12] 與之相似，重投影偏差經過與目標類別的語義區域的遠近來量化。有幾個細節比較巧妙，下面展開說明。
如上圖所示，(a) 爲語義分割圖，(b) 爲類別 「Car」 的區域，在(c) (d) 中，根據與 Car 區域的距離，機率值從1 (紅) 變爲 0 (藍)。 其餘類別如Tree，也會產生此機率分佈圖。
其中 距離 到 機率 的轉化，利用了下方的高斯分佈，(c) (d) 的不一樣是方差
其中
權重
我的理解，之因此使用高斯分佈，是由於其函數有「驟降」之處，那麼方差
（爲簡化說明，上述公式已被簡化，去除了對於多個相機、空間點的索引，詳見原文）
-
思路二：從語義信息能夠推斷出動態區域。
傳統 SLAM 方法幾乎都是假設當前場景是靜態的，當面對含有運動物體的場景時，運動物體上的特徵點將對相機位姿估計產生巨大的誤差。面對這一困難的主要解決方式是去掉這些動態的特徵點，而語義分割十分適合找出這些動態區域。
語義分割有兩個特色，一是把平面區域的許多像素點聯繫起來，二是給區域帶上了分類標籤。
前者有利於肯定物體是否真的在運動，由於單個特徵點的偏移並不能肯定運動的發生（多是 SLAM 系統一直存在的觀測噪聲），如果一羣有關聯的特徵點廣泛發生了較大的偏移，就能夠判定爲是動態的。
後者有利於預判物體是否會運動，好比標籤是人的區域幾乎是動態的，而牆壁則可判定是靜態的（甚至不用去計算偏移）。
IROS 2018 的 DS-SLAM [13] 基於第一個特色，以區域爲單位判斷是否動態，而一些工做如 [14] 僅利用了第二個特色，較爲暴力地直接排除某些區域（天空，車）的特徵點。
把這兩個特色都用上的是 ICRA 2019 的工做 [15]， 簡述以下。
利用語義分割，將一些類別（
接下來使用運動斷定，以區分可移動物體當前是靜止（藍色）仍是運動（紅色）的。
運動斷定的規則以下：對於某一語義區域內，過往估計的特徵點的 3D 位置，投影到當前的新圖像上，重投影位置若和對應特徵點的歐式距離大於必定閾值，則定義爲移動點，若是該區域移動點的比例大於必定閾值則斷定爲移動區域。
-
思路三：語義信息提供的物體級別的描述，擁有季節（光線）不變性。
這一思路能夠用在如何用已有的 3D 地圖定位。
傳統的特徵點（擁有描述子），在多變的環境下十分不魯棒，容易跟丟。而語義分割的結果，相對而言是穩定的，此外，若以物體級別來作定位（拿語義標籤來匹配地圖），更符合人類直覺。
-
思路四：待總結
更好的閱讀效果、更多相關內容可關注公衆號 【小林同窗的腦回路】