點擊上方「3D視覺工坊」，選擇「星標」git
乾貨第一時間送達github
做者丨robot L@知乎算法
來源丨https://zhuanlan.zhihu.com/p/153394930微信
本文介紹IROS2020的一篇文章：app
T. Shan, B. Englot, D. Meyers, W. Wang, C. Ratti, D. Rus. LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping, IEEE/RSJ International Conference on Intelligent Robots and Systems, 2020.dom
附上做者Tixiao Shan上傳到Youtube的視頻：ide
原視頻地址：youtube.com/watch?。學習
做者Tixiao Shan在2018年發表過LeGO-LOAM，當時他還在史蒂文斯理工學院讀博士，19年畢業以後去了MIT作助理研究員（羨慕.jpg）。。。這篇文章LIO-SAM其實是LeGO-LOAM的擴展版本，添加了IMU預積分因子和GPS因子，去除了幀幀匹配部分，而後更詳細地描述了LeGO-LOAM幀圖匹配部分的設計動機和細節。測試
代碼已開源，傳送門：TixiaoShan/LIO-SAM（https://github.com/TixiaoShan/LIO-SAM）。優化
PS：今天上github查了一下LeGO-LOAM，發現有許多有趣的版本，好比這個：https://github.com/irapkaist/SC-LeGO-LOAM
將基於歐式距離的迴環檢測換成了基於全局描述子Scan Context的迴環檢測。還有這個：https://github.com/facontidavide/LeGO-LOAM-BOR/tree/speed_optimization
從代碼層面進行了改進，優化了速度和代碼可讀性等。
目錄
內容介紹
研究背景
方法
-
綜述
激光里程計因子
GPS因子
實驗驗證
-
旋轉數據集
行走數據集
校園數據集
公園數據集
阿姆斯特丹數據集
總結
-
核心思想
優缺點
展望
1. 內容介紹
本文提出了一種緊耦合激光-慣性里程計方法，經過優化包含LiDAR里程計因子，IMU預積分因子，GPS因子和迴環因子來獲得機器人的全局一致的位姿。做者使用幀-局部地圖匹配代替LOAM的幀-全局地圖匹配，提升了幀圖匹配的效率（我的感受這並不算一個新的創新點，由於做者在LeGO-LOAM中已經用了幀-局部地圖匹配）。
圖1. (a)操做員手持設備。(b)LIO-SAM使用激光和IMU數據的建圖結果。
2. 研究背景
LOAM是目前爲止激光里程計（LO）領域最經典最普遍使用的方法。可是它存在一個問題，就是它直接存儲全局體素地圖而不是局部地圖，從而很難執行迴環檢測以修正漂移，或者組合GPS等測量進行位姿修正。而且體素地圖的使用效率會隨時間下降。爲了克服該問題，做者只獨立地存儲每一個關鍵幀的特徵，而不是在位姿估計完成後就將特徵加入到全局地圖中。
另外一方面，IMU和LiDAR的聯合位姿估計已經被普遍研究，大體分爲兩類。第一類是鬆耦合的方法，例如LOAM和LeGO-LOAM中使用IMU去除LiDAR點雲的運動畸變，以及[8]-[12]使用EKF整合LiDAR和IMU的測量。第二類是緊耦合的方法，例如R-LINS[15]，使用偏差狀態卡爾曼濾波器迭代地修正機器人的位姿估計，再好比LIOM [16]聯合優化LiDAR和IMU測量。可是LIOM一次性處理全部測量，所以不能實時運行。而本文也屬於緊耦合的激光-慣性里程計方法，只是採用了因子圖優化而不是濾波的方法。
3. 方法
A. 綜述
圖2展現了LIO-SAM的因子圖。圖中主要包含四種因子。第一種是IMU預積分因子（橙色），由兩個相鄰關鍵幀之間的IMU測量積分獲得。第二種是激光里程計因子（綠色），由每一個關鍵幀和以前n個關鍵幀之間的幀圖匹配結果獲得。第三種是GPS因子（黃色），由每一個關鍵幀的GPS測量獲得。第四種是迴環因子（黑色），由每一個關鍵幀和候選迴環關鍵幀的時序相鄰的2m+1個關鍵幀之間的幀圖匹配獲得。此外，因子圖優化經過iSAM2[18]完成。
圖2. LIO-SAM的系統結構。
IMU預積分因子在robot L：【論文閱讀12】On-Manifold Preintegration (https://zhuanlan.zhihu.com/p/108203458，Part2：技術細節)一文中已經介紹過，迴環因子在LeGO-LOAM中已經介紹過，再也不贅述。這裏詳細介紹後激光里程計因子和GPS因子。
B. 激光里程計因子
在本文中，只使用關鍵幀的特徵，非關鍵幀的特徵所有被拋棄。採用LOAM[1]或LeGO-LOAM[7]的方法提取第 個關鍵幀的特徵 ，前者是邊緣特徵，後者是平面特徵。當新的關鍵幀 到來時，利用以前n+1個關鍵幀的特徵集合 和位姿估計 構建局部地圖 ，其中
(1)
和 是變換到世界座標系中的第 個關鍵幀的特徵。 和 是世界座標系中的局部邊緣特徵地圖和局部平面特徵地圖。
以後，咱們利用LOAM中的方法匹配 和 ，以及 和 ，創建點線和點面距離約束。經過最小化全部約束，優化 。點雲匹配和位姿優化過程與LOAM/LeGO-LOAM相同，再也不贅述。不一樣的是，這裏使用過去n+1幀關鍵幀的組合點雲而不是全局點雲和最新幀進行匹配。
C. GPS因子
當接收到GPS測量後，咱們首先使用[20]的方法變換它們到笛卡爾座標系中。當一個新的位姿節點被插入到因子圖後，咱們關聯GPS因子到該位姿節點中去。具體地，咱們線性插值GPS的時間戳，獲得對應最新位姿節點的GPS位置。
因爲在GPS信號一直存在的時候，持續添加GPS因子沒有意義。由於漂移很緩慢。因此在實際操做過程當中，咱們只添加GPS因子當位姿估計協方差矩陣變得很大的時候。
4. 實驗結果
咱們比較了提出的LIO-SAM，LOAM以及LIOM。此外，咱們的實驗基於三種不一樣的實驗平臺，如圖3所示。
圖3. 三種不一樣的實驗平臺。
A. 旋轉數據集
該實驗驗證咱們僅使用IMU因子和激光里程計因子時，系統的魯棒性。在該實驗中，咱們靜止在原地，並快速晃動手中的傳感器設備。LOAM和LIO-SAM的建圖結果如圖4所示。LIOM因爲採用了[24]的初始化方法較爲敏感，在該數據集中不能初始化成功，所以沒有顯示它的建圖結果。
圖4. 實驗1的建圖結果對比。、
B. 行走數據集
該測試用來驗證咱們方法經歷劇烈平移和旋轉運動時的表現。在數據收集階段，使用者手持傳感器在MIT校園內快速行走。能夠看出LOAM，LIOM和咱們的LIO-SAM的建圖效果遞增。LIOM不能實時運行，其餘兩種算法能夠實時運行。
圖5. 實驗2的建圖結果比較。
C. 校園數據集
該測試用來驗證引入GPS和迴環因子的好處。爲此，去除GPS和迴環因子的系統被稱爲LIO-odom；去除迴環因子使用GPS因子的系統被稱爲LIO-GPS；適用全部因子的系統爲LIO-SAM。在該數據集中，使用者手持平臺在MIT校園中行走，並回到起點的相同位置。因爲有樹木的遮擋，部分區域接收不到GPS信號。圖6展現了各類方法的軌跡和LIO-SAM的建圖結果。
圖6. 實驗3的軌跡圖和LIO-SAM的建圖結果。
表2總結了各類方法回到原點後的相對平移偏差。
D. 公園數據集
在該實驗中，咱們將傳感器放到UGV上，並駕駛它沿着公園的林蔭小路行走。在40分鐘後，該小車回到了原點。圖7展現了不一樣算法的軌跡圖，表2總結了各類方法的相對平移偏差。
圖7. 實驗4的軌跡圖和LIO-SAM的重建結果。
E. 阿姆斯特丹數據集
在該實驗中，咱們將傳感器放到船上，並繞着阿姆斯特丹運河行駛了三個小時。建圖結果如圖8所示。
此外，表4總結了各類方法平均每幀的運行時間。和LIO-SAM可以承受的數據倍速播放上限。
5. 總結
A. 核心思想
基於激光雷達，IMU和GPS多種傳感器的因子圖優化方案，以及在幀圖匹配中使用幀-局部地圖取代幀-全局地圖。
B. 優缺點
第一個優勢是緊耦合了多種不一樣傳感器，運動估計結果更魯棒。
第二個優勢是使用增量平滑和建圖方法iSAM2執行因子圖優化。iSAM2是真的好用，只須要設計因子就完事兒了，其餘部分徹底不用管，增量優化幫你搞定一切。時間-精度平衡，不存在的。
缺點一是關鍵幀之間的特徵被徹底丟棄。可否設計一種簡單高效的方法同時利用關鍵幀之間的激光幀的（部分）特徵？這樣的好處是信息損失更少，有利於提升精度。
缺點二是沒開源（劃掉。
C. 展望
使用IMU預積分來利用IMU測量已是慣用手法。幀-局部地圖匹配也在其餘LO/LIO中被使用過，例如SuMa和IMLS-SLAM使用的都是幀-局部地圖匹配，以及這篇LIO文章robot L：【論文閱讀9】3D LiDAR Inertial Odometry and Mapping（https://zhuanlan.zhihu.com/p/106291845）也使用了幀-局部地圖匹配。爲了提速，僅使用關鍵幀，剔除中間幀的想法借鑑自視覺SLAM，之後在激光SLAM中也會逐漸流行起來。LO以及LiDAR和其餘傳感器融合的SLAM領域還有什麼可作的呢？
我以爲首先LIDAR點雲的特徵點提取這種基礎工做有待進一步改進，不管是LOAM仍是LeGO-LOAM，特徵點提取方法都很是簡單。可以提取出更加通用，穩定，高效的特徵點的方法是很是關鍵的。由於後續的匹配算法對特徵點的質量很是敏感，雖然短時間可能看不出來，可是長期來看，好的特徵很是重要。
其次，如何處理高動態環境也是一個開放問題。包括高動態環境中準確，魯棒的定位方法，以及高動態環境的建圖方法，是否對動態物體建圖？如何去除動態物體的殘影？如何創建純靜態場景地圖？以及基於語義，物體，拓撲的建圖方法等。
本文僅作學術分享，若有侵權，請聯繫刪文。
下載1
在「3D視覺工坊」公衆號後臺回覆：3D視覺，便可下載 3D視覺相關資料乾貨，涉及相機標定、三維重建、立體視覺、SLAM、深度學習、點雲後處理、多視圖幾何等方向。
下載2
在「3D視覺工坊」公衆號後臺回覆：3D視覺github資源彙總，便可下載包括結構光、標定源碼、缺陷檢測源碼、深度估計與深度補全源碼、點雲處理相關源碼、立體匹配源碼、單目、雙目3D檢測、基於點雲的3D檢測、6D姿態估計源碼彙總等。
下載3
在「3D視覺工坊」公衆號後臺回覆：相機標定，便可下載獨家相機標定學習課件與視頻網址；後臺回覆：立體匹配，便可下載獨家立體匹配學習課件與視頻網址。
重磅！3DCVer-學術論文寫做投稿 交流羣已成立
掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫做與投稿 微信交流羣，旨在交流頂會、頂刊、SCI、EI等寫做與投稿事宜。
同時也可申請加入咱們的細分方向交流羣，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點雲後處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流等微信羣。
必定要備註：研究方向+學校/公司+暱稱，例如：」3D視覺 + 上海交大 + 靜靜「。請按照格式備註，可快速被經過且邀請進羣。原創投稿也請聯繫。
▲長按加微信羣或投稿
▲長按關注公衆號
3D視覺從入門到精通知識星球：針對3D視覺領域的知識點彙總、入門進階學習路線、最新paper分享、疑問解答四個方面進行深耕，更有各種大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發佈3D視覺相關算法開發崗位以及項目對接信息，打形成集技術與就業爲一體的鐵桿粉絲彙集區，近2000星球成員爲創造更好的AI世界共同進步，知識星球入口：
學習3D視覺核心技術，掃描查看介紹，3天內無條件退款
圈裏有高質量教程資料、可答疑解惑、助你高效解決問題
以爲有用，麻煩給個贊和在看~