ICRA 2019最佳論文公佈 李飛飛組的研究《Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Rep

機器人領域頂級會議 ICRA 2019 正在加拿大蒙特利爾舉行（當地時間 5 月 20 日-24 日），剛剛大會公佈了最佳論文獎項，來自斯坦福大學李飛飛組的研究《Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks》得到了最佳論文。

圖源：https://twitter.com/animesh_garg/status/1131263955622604801

ICRA 最佳論文獎項設立於 1993 年，旨在表彰最優秀的論文。據瞭解，今年一共有三篇論文入圍最佳論文獎項：

• 論文 1：Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks
• 做者：Michelle A. Lee, Yuke Zhu, Krishnan Srinivasan, Parth Shah, Silvio Savarese, Li Fei-Fei, Animesh Garg, Jeannette Bohg（斯坦福大學）
• 論文連接：https://arxiv.org/abs/1810.10191
• 論文 2：Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images
• 做者：Kuniyuki Takahashi, Jethro Tan（Preferred Networks 公司）
• 論文連接：https://arxiv.org/abs/1803.03435
• 論文 3：Variational End-to-End Navigation and Localization
• 做者：Alexander Amini, Guy Rosman, Sertac Karaman, Daniela Rus（MIT、豐田研究院）
• 論文連接：https://arxiv.org/abs/1811.10119

ICRA 最佳論文

其中，斯坦福大學 Michelle A. Lee、Yuke Zhu、李飛飛等人的論文《Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks》榮獲最佳論文獎項。

摘要：在非結構化環境中執行須要大量接觸的操縱任務一般須要觸覺和視覺反饋。可是，手動設計機器人控制器使其結合具有不一樣特徵的模態並不容易。儘管深度強化學習在學習高維輸入的控制策略時得到了很大成功，但因爲樣本複雜度，這些算法一般很難在真實機器人上面部署。

該研究使用自監督學習感知輸入的緊湊、多模態表徵，而後使用這些表徵提高策略學習的樣本效率。研究者在植入任務上評估了該方法，結果代表該方法對於外部擾動具有穩健性，同時能夠泛化至不一樣的幾何、配置和間隙（clearances）。研究者展現了在模擬環境中和真實機器人上的結果。

該研究提出的多模態表徵學習模型架構以下圖所示：

圖 2：利用自監督進行多模態表徵學習的神經網絡架構。該網絡使用來自三個不一樣傳感器的數據做爲模型輸入：RGB 圖像、力矩傳感器在 32ms 窗口上讀取的力矩數據、末端執行器的位置和速度。該模型將這些數據編碼並融合爲多模態表徵，基於這些多模態數據可學習用控制器執行須要大量接觸的操縱。這一表徵學習網絡是經過自監督端到端訓練獲得的。

控制器設計

下圖展現了該研究的控制器架構，該架構可分爲三部分：軌跡生成、阻抗控制和操做空間控制。

實驗

下圖展現了該模型在模擬環境中的訓練。圖 a 展現了 TRPO 智能體的訓練曲線：

圖 4：模擬植入任務：對基於不一樣感知模態數據訓練獲得的表徵進行模型簡化測試。研究者將使用結合了視覺、觸覺和本體感受的多模態表徵訓練獲得的完整模型和未使用這些感知訓練的基線模型進行了對比。b 圖展現了使用不一樣反饋模態的部分任務完成率，其中視覺和觸覺模態在接觸豐富的任務中發揮不可或缺的做用。

下圖展現了在真實環境中的模型評估。

圖 5：a）在真實機器人實驗及其間隙上使用 3D 打印 peg。b）定性預測：研究者對來自其表徵模型的光流預測示例進行可視化。

下圖展現了在真實機器人上對該模型的評估，同時展現了該模型在不一樣任務設置上的泛化效果。

最佳論文入圍論文簡介

另外兩篇入圍最佳論文的研究分別是來自日本 Preferred Networks 公司的《Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images》，以及來自 MIT 和豐田研究院的《Variational End-to-End Navigation and Localization》。

論文：Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images

摘要：基於視覺估計觸覺特性（如光滑或粗糙）對與環境進行高效互動很是重要。這些觸覺特性能夠幫助咱們決定下一步動做及其執行方式。例如，當咱們發現牽引力不足時能夠下降駕駛速度，或者若是某物看起來很光滑咱們能夠抓得更緊一些。

研究者認爲這種能力也會幫助機器人加強對環境的理解，從而面對具體環境時選擇恰當的行爲。所以他們提出了一種模型，僅基於視覺感知估計觸覺特性。該方法擴展了編碼器-解碼器網絡，其中潛變量是視覺和觸覺特徵。

與以前的研究不一樣，該方法不須要手動標註，僅須要 RGB 圖像及對應的觸覺感知數據。全部數據都是經過安裝在 Sawyer 機器人末端執行器上的網絡攝像頭和 uSkin 觸覺感知器收集的，涉及 25 種不一樣材料的表面。研究者展現了該模型能夠經過評估特徵空間，泛化至未包含在訓練數據中的材料，這代表該模型學會了將圖像和重要的觸覺特性關聯起來。

該研究提出的網絡架構圖示。

論文：Variational End-to-End Navigation and Localization

摘要：深度學習完全變革了直接從原始感知數據學習「端到端」自動車輛控制的能力。雖然最近在處理導航指令形式的擴展方面取得了一些進步，但這些研究還沒法捕捉機器人全部可能動做的完整分佈，也沒法推斷出機器人在環境中的定位。

在本文中，研究者擴展了可以理解地圖的端到端駕駛網絡。他們定義了一個新的變分網絡，該網絡可以根據環境的原始相機數據和更高級路線圖進行學習，以預測可能的控制指令的完整機率分佈，以及可以在地圖內指定路線上導航的肯定性控制指令。

此外，受人類駕駛員能夠進行粗略定位的啓發，研究者根據地圖和觀察到的視覺道路拓撲之間的對應關係，制定瞭如何使用其模型來定位機器人的方案。研究者在真實駕駛數據上評估了該算法，並推斷了在不一樣類型的豐富駕駛場景下推斷的轉向命令的穩健性。另外，他們還在一組新的道路和交叉路口上評估了其定位算法，並展現了該模型在沒有任何 GPS 先驗的狀況下也具有粗略定位的能力。

模型架構。

ICRA 其餘獎項

除了最佳論文，ICRA 大會還設置了最佳學生論文，以及自動化、認知機器人、人機交互等分支的最佳論文。

其中得到最佳學生論文提名的研究有：

• 論文 1：Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience
• 做者：Yevgen Chebotar, Ankur Handa, Viktor Makoviichuk, Miles Macklin, Jan Isaac, Nathan Ratliff, Dieter Fox（英偉達、南加州大學、哥本哈根大學、華盛頓大學）
• 論文連接：https://arxiv.org/abs/1810.05687
• 論文 2：Online Multilayered Motion Planning with Dynamic Constraints for Autonomous Underwater Vehicles
• 做者：Eduard Vidal Garcia, Mark Moll, Narcis Palomeras, Juan David Hernández, Marc Carreras, Lydia Kavraki（西班牙赫羅納大學水下機器人實驗室、美國萊斯大學 Kavraki 實驗室）
• 論文連接：http://www.kavrakilab.org/publications/vidal2019online-multilayered-motion-planning.pdf
• 論文 3：Drift-free Roll and Pitch Estimation for High-acceleration Hopping
• 做者：Justin K. Yim, Eric K. Wang, Ronald Fearing（加州大學伯克利分校）
• 論文連接：https://people.eecs.berkeley.edu/~ronf/PAPERS/jyim-icra2019.pdf