最近一年語義SLAM有哪些表明性工做？

點擊「計算機視覺life」關注，置頂更快接收消息！ 本文由做者劉驍受權發佈，轉載請聯繫原做者，我的主頁http://www.liuxiao.org

目前 Semantic SLAM （注意不是 Semantic Mapping）工做還比較初步，可能不少思路尚未打開，但能夠預見將來幾年工做會愈來愈多。語義 SLAM 的難點在於怎樣設計偏差函數，將 Deep Learning 的檢測或者分割結果做爲一個觀測，融入 SLAM 的優化問題中一塊兒聯合優化，同時還要儘量作到至少 GPU 實時。

下面是一些有表明性的文章，提供下載和簡單思路的理解，但我的精力、能力有限也歡迎你們隨時提供更多更好的文章。

一、《Probabilistic Data Association for Semantic SLAM》 ICRA 2017

語義 SLAM 中的機率數據融合，感受應該算開山鼻祖的一篇了。這篇也得到了 ICRA 2017 年的 Best Paper，可見工做是比較早有創新性的。文章中引入了 EM 估計來把語義 SLAM 轉換成機率問題，優化目標仍然是熟悉的重投影偏差。這篇文章只用了 DPM 這種傳統方法作檢測沒有用流行的深度學習的檢測網絡依然取得了必定的效果。固然其文章中有不少比較強的假設，好比物體的三維中心投影過來應該是接近檢測網絡的中心，這一假設實際中並不容易知足。不過依然不能掩蓋其在數學上開創性的思想。

文章下載：probabilistic-data-association-for-semantic-slam

二、《VSO: Visual Semantic Odometry》 ECCV 2018

既然檢測能夠融合，把分割結果融合固然是再天然不過的想法，並且直觀看來分割有更加細粒度的對物體的劃分對於 SLAM 這種須要精確幾何約束的問題是更加合適的。ETH 的這篇文章緊隨其後投到了今年的 ECCV 2018。這篇文章依然使用 EM 估計，在上一篇的基礎上使用距離變換將分割結果的邊緣做爲約束，同時依然利用投影偏差構造約束條件。在 ORB SLAM2 和 PhotoBundle 上作了驗證取得了必定效果。這篇文章引入距離變換的思路比較直觀，不少人可能都能想到，不過可以作 work 以及作了不少細節上的嘗試，依然是很是不容易的。但仍然存在一個問題是，分割的邊緣並不表明是物體幾何上的邊緣，不一樣的視角這一分割邊緣也是不停變化的，所以這一假設也不是很是合理。

文章下載：vso-visual-semantic-odometry

三、《Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving》 ECCV 2018

港科大沈邵劼老師團隊的最新文章，他們的 VINS 在 VIO 領域具備很不錯的開創性成果。如今他們切入自動駕駛領域作了這篇雙目語義3D物體跟蹤的工做，效果仍是很不錯的。在沈老師看來，SLAM 是一個多傳感器融合的框架，RGB、激光、語義、IMU、碼盤等等都是不一樣的觀測，因此只要是解決關於定位的問題，SLAM 的框架都是同樣適用的。在這篇文章中，他們將不一樣物體當作不一樣的 Map，一邊重建一邊跟蹤。使用的跟蹤方法仍然是傳統的 Local Feature，而 VIO 做爲世界座標系的運動估計。語義融合方面，他們構造了4個優化項：

最終取得了很好的效果。

演示地址：https://www.youtube.com/watch?v=5_tXtanePdQ 文章下載：stereo-vision-based-semantic-3d-object-and-ego-motion-tracking-for-autonomous-driving

四、《Long-term Visual Localization using Semantically Segmented Images》ICRA 2018

這篇論文講得比較有意思，它不是一個完整的SLAM系統，不能解決Mapping的問題。它解決的問題是，當我已經有了一個很好的3D地圖後，我用這個地圖怎麼來定位。在傳統方法中，咱們的定位也是基於特徵匹配的，要麼匹配 Local Feature 要麼匹配線、邊等等幾何特徵。而咱們看人在定位時的思惟，其實人看不到這麼細節的特徵的，一般人是從物體級別去定位，好比個人位置東邊是某某大樓，西邊有個學校，前邊有個公交車，我本身在公交站牌的旁邊這種方式。當你把你的位置這樣描述出來的時候，若是我本身知道你說的這些東西在地圖上的位置，我就能夠基本肯定你在什麼地方了。這篇文章就有一點這種意思在裏邊，不過它用的觀測結果是分割，用的定位方法是粒子濾波。它的地圖是三維點雲和點雲上每一個點的物體分類。利用這樣語義級別的約束，它仍然達到了很好的定位效果。可想而知這樣的方法有必定的優勢，好比語義比局部特徵穩定等；固然也有缺點，你的觀測中的語義信息要比較豐富，若是場景中你只能偶爾分割出一兩個物體，那是沒有辦法work的。

演示地址：https://www.youtube.com/watch?v=M55qTuoUPw0 文章下載：long-term-visual-localization-using-semantically-segmented-images

推薦閱讀

從零開始一塊兒學習SLAM | 爲何要學SLAM？ 從零開始一塊兒學習SLAM | 學習SLAM到底須要學什麼？ 從零開始一塊兒學習SLAM | SLAM有什麼用？ 從零開始一塊兒學習SLAM | C++新特性要不要學？ 從零開始一塊兒學習SLAM | 爲何要用齊次座標？ 從零開始一塊兒學習SLAM | 三維空間剛體的旋轉 從零開始一塊兒學習SLAM | 爲啥須要李羣與李代數？ 從零開始一塊兒學習SLAM | 相機成像模型 從零開始一塊兒學習SLAM | 不推公式，如何真正理解對極約束? 從零開始一塊兒學習SLAM | 神奇的單應矩陣 從零開始一塊兒學習SLAM | 你好，點雲 從零開始一塊兒學習SLAM | 給點雲加個濾網 從零開始一塊兒學習SLAM | 點雲平滑法線估計 零基礎小白，如何入門計算機視覺？ SLAM領域牛人、牛實驗室、牛研究成果梳理 我用MATLAB擼了一個2D LiDAR SLAM 可視化理解四元數，願你再也不掉頭髮https://mp.weixin.qq.com/s?__biz=MzIxOTczOTM4NA==&mid=2247485009&idx=2&sn=3709bcff8efb4a3d1ff78fbb60d4f245&chksm=97d7e3c6a0a06ad07bfcebd0e17a9d58c821ddfc2016dc4b8914bc0c921d65b59243ed5efcc9&scene=21#wechat_redirect)

"歡迎關注公衆號：計算機視覺life，一塊兒探索計算機視覺新世界~"