Paper之IEEE&RSJ：2009年~2019年機器人技術(IEEE機器人和自動化國際會議&RSJ智能機器人與系統國際會議&機器人技術:科學與系統&機器人學報)歷年最佳論文簡介及其解讀

時間 2021-08-14

標籤 html ios git github web 算法編程跨域網絡架構欄目測試自動化简体版

原文原文鏈接

Paper之IEEE&RSJ：2009年~2019年機器人技術(IEEE機器人和自動化國際會議&RSJ智能機器人與系統國際會議&機器人技術:科學與系統&機器人學報)歷年最佳論文簡介及其解讀html

目錄ios

會議期刊來源git

論文介紹github

Robotic Pick and Place of Novel Objects in Clutter with Multi Affordance Grasping and Cross Domain Image Matching經過多 affordance 抓取和跨域圖像匹配完成雜亂環境下對新物體的撿放操做web

Using Simulation and Domain Adaptation to Improve Efficiency of Deep Robotic Grasping使用仿真和領域適應來提升深度機器人抓取的效率算法

Dex Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics Dex-Net 2.0：利用合成點雲進行魯棒抓取和分析抓取指標的深度學習編程

Deep Predictive Policy Training using Reinforcement Learning深度預測策略的強化學習訓練方法跨域

Learning Agile and Dynamic Motor Skills for Legged Robots 面向腿式機器人的敏捷動態特性的技能學習網絡

Making Sense of Vision and Touch: Self Supervised Learning of Multimodal Representations for Contact Rich Tasks 理解視覺和觸覺：接觸任務多模態表達的自監督學習架構

A Magnetically Actuated Untethered Jellyfish Inspired Soft Milliswimmer 一個受水母啓發的磁力驅動軟體游泳機器人

Robust Visual-Inertial State Estimation with Multiple Odometries and Efficient Mapping on an MAV with Ultra-Wide FOV Stereo Vision魯棒多測度視覺慣性狀態估計及其在具備超廣角立體視覺的微型飛行器上的高效映射

相關文章
AI之Robot：機器人Robot的簡介、發展歷史、案例應用之詳細攻略
Paper之IEEE&RSJ：2009年~2019年機器人技術(IEEE機器人和自動化國際會議&RSJ智能機器人與系統國際會議&機器人技術:科學與系統&機器人學報)歷年最佳論文簡介及其解讀

會議期刊來源

IEEE International Conference on Robotics and Automation	IEEE機器人和自動化國際會議
IEEE/RSJ International Conference on Intelligent Robots and Systems	IEEE/RSJ智能機器人與系統國際會議
Robotics: Science and Systems·A Robotics Conference	機器人技術:科學與系統·機器人技術會議
IEEE Transactions on Robotics	IEEE機器人學報

論文介紹

Robotic Pick and Place of Novel Objects in Clutter with Multi Affordance Grasping and Cross Domain Image Matching
經過多 affordance 抓取和跨域圖像匹配完成雜亂環境下對新物體的撿放操做

論文做者	Andy Zeng, Shuran Song, Kuan-Ting Yu, Elliott Donlon, Francois R. Hogan, Maria Bauza, Daolin Ma, Orion Taylor, Melody Liu, Eudald Romo, Nima Fazeli, Ferran Alet, Nikhil Chavan Dafle, Rachel Holladay, Isabella Morona, Prem Qu Nair, Druck Green, Ian Taylor, Weber Liu, Thomas Funkhouser, Alberto Rodriguez
論文地址	IEEE International Conference on Robotics and Automation, 2018 https://ieeexplore.ieee.org/abstract/document/8461044
論文摘要	本文介紹了一種在雜亂環境中可以抓取和識別已知和新奇物體的機器人拾取和放置系統。該系統的關鍵新特性是，它能夠處理普遍的對象類別，而不須要針對新對象的任何特定於任務的訓練數據。爲了實現這一目標，首先使用一種不肯定類別的啓示預測算法在四種不一樣抓取原語行爲中進行選擇。而後，它經過一個跨域圖像分類框架來識別選中的對象，該框架將觀察到的圖像與產品圖像相匹配。因爲產品圖像能夠很容易地用於普遍的對象(例如，從web上)，所以該系統能夠開箱即用地用於新對象，而不須要任何額外的訓練數據。詳盡的實驗結果代表，咱們的多啓示抓取算法對雜波中各類各樣的目標都有較高的成功率，咱們的識別算法對已知和新抓取的目標都有較高的準確率。這種方法是麻省理工-普林斯頓團隊系統的一部分，該系統在2017年亞馬遜機器人挑戰賽的裝載任務中得到了第一名。全部代碼、數據集和預先訓練的模型均可以在http://arc.cs.princeton.edu上在線得到
研究問題	人類能夠在僅掌握少許先驗知識的前提下識別和抓取陌生目標物，這一能力一直是機器人研究的靈感來源，也是不少實際應用的核心。爲此，提出一種能在雜亂環境下對新目標物進行識別和撿放操做的機器人系統，整個系統可直接用於新目標物（在測試過程當中首次出現），而無需額外的數據收集或從新訓練，以下圖所示。
研究方法	專門設計該機器人識別撿放系統，該系統由兩部分組成：1）具備四個基礎行爲的多模式抓取框架，該框架使用深度卷積神經網絡（ConvNets）來預測場景 affordance，而無需事先對目標物進行分割和分類。2）跨域圖像匹配框架，用於經過將抓取的對象與產品圖像進行匹配來識別抓取的對象，該框架使用了 ConvNet 架構，該架構可直接用於新目標物而無需從新進行訓練。這兩部分互相配合，能夠在雜亂的環境中完成對新目標物的抓取操做。機器人吸收和抓取的 affordance 預測以下圖所示，考慮各個視角的 RGBD 圖像，可經過一個全卷積殘差網絡估算出每張圖片的吸收 affordance。而後，將預測彙總在 3D 點雲上，並基於表面法線生成向下吸收或側向吸收的建議。並行地，咱們將 RGB-D 圖像合併爲 RGB-D 高度圖，將其旋轉 16 個不一樣的角度，並估計每一個高度圖的水平抓取。這有效地生成了針對 16 個不一樣抓取角度的 affordance 圖，從中可獲得向下抓取和其餘抓取的建議。新物體的識別框架以下圖所示。訓練一個雙流的卷積神經網絡，其中一個流計算獲得產品圖像的 2048 維特徵向量，而另外一個流計算獲得觀察圖像的 2048 維特徵向量，並對兩個流進行優化，以使相同圖像的特徵更加類似，反之則不一樣。在測試期間，已知對象和新對象的圖像都映射到公共特徵空間上。經過在相同的特徵空間找到與其最近的特徵來匹配來識別它們。
研究結果	提出一種系統，該系統可以以不多的先驗信息（少數產品圖片）來拾取和識別新對象。該系統首先使用與類別無關的 affordance 預測算法在四種不一樣的抓取動做元之間進行選擇，而後經過將抓取的對象與它們的產品圖像進行匹配來識別抓取的對象。經過評估證實，該機器人系統能夠拾取並在雜亂無章的環境中識別出新物體。

Using Simulation and Domain Adaptation to Improve Efficiency of Deep Robotic Grasping
使用仿真和領域適應來提升深度機器人抓取的效率

論文做者	Konstantinos Bousmalis, Alex Irpan, Paul Wohlhart, Yunfei Bai, Matthew Kelcey, Mrinal Kalakrishnan, Laura Downs, Julian Ibarz, Peter Pastor, Kurt Konolige, Sergey Levine, Vincent Vanhoucke
論文地址	論文出處：IEEE International Conference on Robotics and Automation, 2018 論文地址：https://ieeexplore.ieee.org/document/8460875
論文摘要	檢測和收集帶註釋的視覺抓取數據集來訓練現代機器學習算法是很是耗時和昂貴的。一種吸引人的替代方法是使用現成的模擬器來呈現合成數據，併爲其自動生成底層真值註釋。不幸的是，單純根據模擬數據訓練的模型經常不能推廣到現實世界。咱們研究如何將隨機模擬環境和領域適應方法擴展到訓練抓取系統從原始單眼RGB圖像中抓取新的目標。咱們對咱們的方法進行了普遍的評估，總共有超過25000個物理測試掌握，研究了一系列的模擬條件和領域適應方法，包括一種新的擴展的像素級領域適應，咱們稱之爲GraspGAN。咱們代表，經過使用合成數據和領域適應，咱們可以將實現給定性能水平所需的真實世界樣本數量減小50倍，只使用隨機生成的模擬對象。咱們還代表，僅使用未標記的真實世界數據和咱們的GraspGAN方法，咱們得到了真實世界中沒有任何標籤的抓取性能，與939,777個標記的真實世界樣本的抓取性能類似。
研究問題	收集帶註釋的視覺抓取數據集以訓練現代機器學習算法多是很是耗時的。一個替代方法是使用現成的模擬器來合成數據，這樣就能夠自動產生這些數據的真實標註。不幸的是，僅基於模擬數據訓練的模型一般沒法泛化到現實世界。研究如何將隨機模擬環境和域適應方法應用到真實場景，訓練一種抓取系統，能夠經過原始 RGB 圖像中進行規劃，抓取新的目標物。
研究方法	研究模擬環境中的 3D 目標模型、模擬的場景和模擬的動力學如何影響機器人最終的抓取性能，以及將模擬與真實場景集成以實現最大程度的遷移。具體方法如上圖所示。（a）爲像素級的域適應模型 GraspGAN 的概述。從仿真器中獲得的圖像元組 x s 並輸入到生成器 G 中，生成真實版本的圖像 x f，鑑別器 D 得到未標註的真實世界圖像 x t 和 x f，並通過訓練以區分它們。真實的和通過適應的圖像也被送到抓取預測網絡 C 中，一同進行並行訓練。所以，生成器 G 從鑑別器 D 和預測器 C 中得到反饋，以使適應的圖像看起來更加真實並保持其語義信息；（b）爲生成器 G 和鑑別器 D 的體系結構；（c）爲 DANN 模型，其中 C1包含 7 個卷積層， C2 包含 9 個卷積層。
研究結果	研究將模擬數據合併到基於學習的抓取系統中的方法，以提升抓取性能並減少數據需求。經過使用合成數據和域適應，僅使用少許隨機生成的模擬數據，就能夠達到給定性指標的 50 倍。還代表，僅使用未標註的真實數據和 GraspGAN 的方法，就能夠在沒有任何真實數據標註的狀況下得到與真實世界相同的抓取性能。

Dex Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics
Dex-Net 2.0：利用合成點雲進行魯棒抓取和分析抓取指標的深度學習

論文做者	Bohg Jeffrey Mahler, Jacky Liang, Sherdil Niyaz, Michael Laskey, Richard Doan, Xinyu Liu, Juan Aparicio Ojea, and Ken Goldberg
論文地址	論文出處：Robotics: Science and Systems, 2017 論文地址：https://arxiv.org/pdf/1703.09312.pdf
論文摘要	爲了減小對健壯機器人抓取計劃進行深度學習的數據收集時間，咱們研究了從Dex-Net 1.0中數以千計的3D模型生成的670萬點雲、抓取和分析抓取指標的合成數據集進行的隨機擺拍訓練。咱們使用獲得的數據集dx - net 2.0來訓練一個抓取質量卷積神經網絡(GQ-CNN)模型，該模型能夠快速預測從深度圖像抓取成功的機率，其中抓取指定爲相對於RGB-D傳感器的爪的平面位置、角度和深度。實驗了1000次試驗在ABB弓比較掌握規劃方法扣帶回對象代表GQ-CNN訓練只有合成數據從Dex-Net 2.0能夠用來計劃掌握在0.8秒93%的成功率與敵對的幾何和8個已知的對象是3倍的速度比註冊點雲的預先計算的數據集和索引把握對象。Dex-Net 2.0抓取計劃在包含10個新剛性對象的數據集上也擁有最高的成功率，在包含40個新家居對象的數據集上實現了99%的精度(69個抓取中有一個假陽性被歸類爲魯棒)，其中一些對象是鉸接的或可變形的。代碼、數據集、視頻和補充材料能夠在http://berkeleyautomation.github找到
研究問題	爲了減小採用深度學習進行魯棒機器人抓取策略學習所需的數據收集時間，探索了從 670 萬點雲，抓取姿態和抓取指標的合成數據集進行訓練，這些數據是從 Dex Net 1.0 的數千個三維模型中以隨機姿式在桌子上生成的。利用獲得的數據集 Dex-Net 2.0 訓練抓取質量卷積神經網絡（GQ-CNN）模型，該模型可快速從深度圖像預測抓取成功的機率，其中抓取被指定爲相對於 RGB-D 傳感器的夾持器的平面位置、角度和深度。
研究方法	研究基於深度點雲的處於桌面上的單剛體的平行爪抓取規劃問題。學習一個函數，它以一個候選抓取和一個深度圖像做爲輸入，並輸出一個魯棒性的估計值，或者在傳感和控制的不肯定性下的成功機率。 Dex Net 2.0 的架構以下圖所示。GQ-CNN 是抓取質量卷積神經網絡，它是經離線訓練的，使用由 670 萬個合成點雲、相關魯棒抓取指標的數據集 Dex-Net 1.0 數據集，可從深度圖像預測魯棒候選抓取。當一個物體呈現給機器人時，深度相機會返回一個三維點雲，識別出一組幾百個候選抓取點。GQ-CNN 迅速肯定了最穩健的抓取位姿，並由 ABB YuMi 機器人執行操做。
研究結果	開發了一個抓取質量卷積神經網絡（GQ-CNN）體系結構，它能夠預測基於點雲模型抓取的穩定性，並在 Dex-2.0 數據集上對其進行訓練，它是一個包含 670 萬點雲、平行抓取和穩定性抓指標的數據集。在 1000 多個物理評估中，發現 DexNet 2.0 抓取規劃器是一種可靠的、速度比基於點雲配準方法快 3 倍的，而且在 40 個新目標的測試集上具備 99%的精度的抓取規劃器。

Deep Predictive Policy Training using Reinforcement Learning
深度預測策略的強化學習訓練方法

論文做者	Ali Ghadirzadeh, Atsuto Maki, Danica Kragic and Marten Bjorkman.
論文地址	論文出處：Robotics: Science and Systems，2019 論文地址：https://arxiv.org/pdf/1903.11239.pdf
論文摘要	因爲感知運動過程的內在潛伏期，熟練的機器人任務學習最好經過預測動做策略來實現。然而，訓練這樣的預測策略是具備挑戰性的，由於它須要找到整個動做持續期間的運動激活軌跡。咱們提出了一個數據高效的深度預測策略訓練(DPPT)框架，該框架採用深度神經網絡策略架構，將圖像觀察映射到一系列的運動激活。該體系結構由三個子網絡組成，它們被稱爲感知、策略和行爲的超層。感知超層和行爲超層分別強制提取用合成和模擬訓練樣本訓練的視覺和運動數據。策略超層是一個具備更少參數的小子網絡，用於映射抽象流形之間的數據。利用策略搜索強化學習的方法對每個任務進行訓練。咱們經過訓練PR2機器人熟練抓取物體和投擲球的預測策略來證實所提出架構和學習框架的適用性。該方法的有效性證實，這些任務訓練僅使用約180個真實的機器人嘗試定性終端獎勵。
研究問題	因爲感知運動過程的固有延遲，機器人任務學習最好經過預測動做策略來實現。然而，訓練這樣的預測策略是具備挑戰性的，由於它涉及到在整個動做過程中找到運動激活的軌跡。本文中，提出一個基於深度神經網絡的數據高效深度預測策略訓練（DPPT）框架，將圖像觀測映射到一系列的運動激活。該體系結構由三個子網絡組成，分別稱爲感知層、策略層和行爲層。感知層和行爲層迫使我們對視覺和行爲進行抽象分別用合成訓練樣本和模擬訓練樣本訓練數據。策略層是一個較小的子網絡，具備較少的參數來映射抽象流形之間的數據。使用策略搜索強化學習的方法對每一個任務進行訓練。經過在 PR2 機器人上訓練熟練抓取和投球的預測策略。下圖表示在機器人拋擲 ball 過程的瞬間圖。
研究方法	由感知層、策略層和行爲層組成的深度預測策略體系結構以下圖所示。做爲網絡輸入，給出了一箇中心 RGB 圖像。感知層將圖像數據抽象爲與任務相關的對象對應的若干空間位置。策略層將抽象狀態隨機映射到操做流形中的一個點。最後，針對給定的採樣動做，行爲層生成一長軌跡的電機指令，並應用於機器人連續 T 個時間步長。
研究結果	文章證實了所提出的結構和學習框架的適用性。該方法的有效性經過如下事實獲得了證實:這些任務僅使用 180 次真正的機器人進行訓練，並提供定性的最終獎勵。

Learning Agile and Dynamic Motor Skills for Legged Robots
面向腿式機器人的敏捷動態特性的技能學習

論文做者	Jemin Hwangbo, Joonho Lee, Alexey Dosovitskiy, Dario Bellicoso, Hoonho Lee, Vassilios Tsounis, Vladlen Koltun and Marco Hutter.
論文地址	論文出處：Science Robotics, 2019 論文地址：https://arxiv.org/pdf/1901.08652.pdf
論文摘要	有腿機器人是機器人領域最大的挑戰之一。動物的動態和敏捷的動做是沒法用現有的方法模仿的，而現有的方法是由人類製做的。一個引人注目的替代方案是強化學習，它須要最少的工藝，並促進控制策略的天然進化。然而，到目前爲止，對有腿機器人的強化學習研究主要侷限於仿真，在實際系統中部署的例子不多，並且比較簡單。主要緣由是，用真正的機器人訓練，尤爲是動態平衡系統，是複雜和昂貴的。在目前的工做中，咱們介紹了一種方法來訓練一個神經網絡策略在模擬和轉移到一個最早進的腿系統，從而利用快速，自動化，和經濟有效的數據生成方案。該方法被應用於ANYmal機器人，一個成熟的中型狗大小的四足系統。經過使用模擬訓練的策略，四足機器人能夠得到比以往方法更好的運動技能:ANYmal可以精確且高效地執行高水平的身體速度指令，比之前跑得更快，即便在複雜的配置下也能從墜落中恢復過來。
研究問題	近年來，腿式機器人是機器人技術中最大的挑戰之一。動物的動態和敏捷的動做是現有的方法沒法模仿的，而這些方法是由人類精心設計的。一個使人信服的替代方案是強化學習，它須要最少的技能並促使控制策略的天然演化更新。然而，到目前爲止，對腿式機器人的強化學習研究主要侷限於仿真，在實際系統中應用比較簡單的例子較少。主要緣由是，使用真正的機器人進行訓練，尤爲是使用動態平衡系統，既複雜又昂貴。在本論文中，咱們提供了一種新的方法，在模擬中訓練一個神經網絡策略，並將其遷移到一個最早進的腿系統，所以咱們利用快速、自動化和經濟有效的數據生成方案。
研究方法	對於腿式機器人的敏捷動態性技能學習的過程，首先是系統建模，針對於四足機器人的物理參數的辨識以及肯定機器人動態參數的不肯定性指標，這個過程可能須要環境參數估計，物理動態性能估計等；其次是訓練驅動神經網絡，這個過程通常經過構建機器人狀態到機器人電機控制的映射函數實現，隨着深度神經網絡的普遍承認，這樣的非線性映射函數現大多采用深度神經網絡擬合；而後在仿真中完成基於強化學習的驅動神經網絡的學習過程，最後將訓練好的驅動神經網絡擬合的控制策略應用在實際的系統中。整個系統的控制網絡由三部分構成，首先是策略網絡，用於將當前的觀測量和以前的關節狀態量映射到目標關節量（下一時刻關節控制量），而後是驅動網絡，用於在剛體關節控制中將歷史關節狀態映射到關節力矩控制量上，機器人狀態量有各關節的位置信息 q 與速度信息 u。
研究結果	應用於一個複雜的中型犬大小的四足系統 ANYmal 機器人，使得在模擬中訓練的四足機器人的運動策略超越了之前的方法，ANYmal 可以精確和高效地遵循高水平的身體速度指令，比之前跑得更快，甚至在複雜的配置中也能從跌倒中恢復過來。

Making Sense of Vision and Touch: Self Supervised Learning of Multimodal Representations for Contact Rich Tasks
理解視覺和觸覺：接觸任務多模態表達的自監督學習

論文做者	Michelle A. Lee, Yuke Zhu, Krishnan Srinivasan, Parth Shah, Silvio Savarese, Li Fei-Fei, Animesh Garg, and Jeannette Bohg
論文地址	論文出處：IEEE International Conference on Robotics and Automation，2019 論文地址：https://ieeexplore.ieee.org/abstract/document/8793485
論文摘要	在非結構化環境中，接觸豐富的操做任務一般須要觸覺和視覺反饋。要手動設計一個結合了這些不一樣特色的模式的機器人控制器並不是易事。雖然深度強化學習在學習高維輸入的控制策略方面顯示出了成功，但因爲樣本的複雜性，這些算法一般難以直接在真實機器人上訓練。在本文中，咱們使用自我監督來學習咱們的感受輸入的一個緊湊的多模態表示，而後能夠用來提升咱們的策略學習的樣本效率。在peg插入任務上評估咱們的方法，咱們代表，它在不一樣的幾何、配置和間隙上獲得了推廣，同時對外部擾動具備魯棒性。咱們也系統地研究了不一樣的自我監督學習目標和表現學習架構。給出了仿真結果和實際機器人的仿真結果。
研究問題	非結構化環境中須要接觸的操做任務一般須要觸覺和視覺反饋。可是，人工設計融合各個不一樣模態的機器人控制器並不是易事。儘管深度強化學習已經成功地應用於針對高維輸入的控制策略學習，但因爲樣本複雜性，這些算法一般難以部署在實際的機器人上。提出使用自監督來學習感官輸入的緊湊和多模態表示，以用來提升策略學習的樣本效率。
研究方法	以學習機器人執行須要接觸操做任務的策略爲目標。但願評估融合多傳感器信息的價值以及多模態表示在跨任務傳遞的能力。爲了提升樣本效率，首先學習了基於神經網絡的多傳感器數據特徵表示。獲得的壓縮特徵向量用做經過強化學習學習到的策略的輸入。將操做任務建模爲一個有限時間的離散馬爾科夫決策過程 M，狀態空間 S，動做空間 A，狀態轉移動力學 T: S ×A → S，初始狀態分佈 ρ0，回報函數 r: S ×A → R，時間 T，折扣係數 γ ∈（0,1]，爲了肯定最優隨機策略 π : S → P（A），咱們但願最大化指望折扣獎勵。自監督多模態表示學習的神經網絡結構以下圖所示，該網絡未來自三個不一樣傳感器的數據做爲輸入：RGB 圖像、32ms 窗口上的 F/T 讀數以及末端執行器的位置和速度。它將這些數據編碼並融合到一個多模態表示中，基於此，能夠學習包含接觸操做的控制器。這種表示學習網絡是經過自監督形式進行端到端訓練的。咱們將具備接觸的操做做爲一個無模型強化學習問題，研究它在依賴多模態反饋以及在幾何、間隙和構型不肯定的狀況下的性能。因爲選擇無模型，還消除了對精確動力學模型的須要，這是存在接觸的操做中的典型困難。
研究結果	提出了一種新穎的模型，將異構感官輸入編碼爲多模態表示。一旦通過訓練，當用做用於強化學習的淺層神經網絡策略的輸入時，該表示就保持固定。經過自我監督來訓練表示模型，從而無需手動標註。實驗代表，須要接觸的任務須要視覺和觸覺的多模式反饋，此外，還進一步證實了多模態表示能夠很好地遷移到其他新任務中。

A Magnetically Actuated Untethered Jellyfish Inspired Soft Milliswimmer
一個受水母啓發的磁力驅動軟體游泳機器人

論文做者	Ziyu Ren , Tianlu Wang，Wenqi Hu , and Metin Sitti
論文地址	論文出處：Robotics: Science and Systems, 2019 論文地址：http://www.roboticsproceedings.org/rss15/p13.pdf
論文摘要	無栓小型軟機器人能夠潛在地用於醫療保健和生物醫學應用程序。它們能夠進入小的空間，以可編程的方式重塑它們的身體，以適應非結構化的環境，並具備多樣的動態行爲。然而，目前的微型軟機器人功能有限，限制了其在醫療領域的應用。利用磁軟複合材料的形狀可編程能力，咱們提出了一種無拴軟微機器人(jellyfishbot)，它能夠像水母同樣游泳，經過時間和軌跡的不對稱上下拍打它的下垂。它的遊動速度和方向能夠經過調節外部振盪磁場的大小、頻率和方向來控制。咱們演示了這種水母機器人能夠執行多項對醫療應用有用的任務，例如運送藥物、堵塞狹窄的管道或血管，以及在基於超聲成像的指導下修補目標區域。在本文中介紹的毫微機器人能夠用於徹底充滿液體的器官，如膀胱或充氣的胃。
研究問題	不受限制的小型軟機器人能夠用於醫療和生物醫學應用。他們能夠進入狹小空間並以可編程方式改變形狀，以適應非結構化環境並具備多種動態行爲。可是，當前的微型軟機器人的功能有限，從而限制了它們在醫療中的應用。利用磁性軟複合材料形狀可編程的優點，提出一種不受束縛的軟體機器人，它能夠像水母一樣在時間和軌跡上不對稱地上下跳動，能夠經過調節外部振盪磁場的大小，頻率和方向來控制其游泳速度和方向。
研究方法	該機器人的設計如上圖所示，機器人主體由兩部分組成：主動部分像肌肉一樣工做以實現划槳運動，而被動部分則填充了主動部分的間隙，使身體成爲連續的流體動力表面。身體的主動部分由軟磁性材料製成，可在外部 B 場下變形。通過將釹鐵硼（NdFeB）磁性微粒（MQP-15-7，Magnequench；平均直徑：5μm）與聚合物（Ecoflex 00-10，Smooth-On Inc.）混合來製備材料，質量比爲 1：1。將該混合物澆鑄到塗覆有聚對二甲苯-C 的聚合物（甲基丙烯酸甲酯）（PMMA）板上。聚合物在 60°C 固化造成厚度約爲 96μm 的薄膜（下圖 b-i）。使用激光切割機從該薄膜上切出主動部分的幾何形狀（下圖 b-ii）。從平板上移開主動部分後，使用移液器將水滴滴在其上。活性部分能夠當即包裹水滴並在表面張力做用下造成橢圓形（下圖 b-iii）。而後將有效成分放入冰箱進行冷凍，以保持橢圓形的形狀。橢圓形主動部分在振動樣品磁力計（VSM，EZ7，Microsense）內部被 1.8T 均勻磁場磁化。磁化後，用非磁性彈性體（Ecoflex 00-10）填充主動部分的間隙以造成厚度約爲 20μm 的薄層薄膜（下圖 b-iv）。最終機器人以下圖 a-ii 所示。
研究結果	提出了一種使用磁性軟複合材料製做的軟體游泳機器人。只需調節外部磁場的波形，頻率和振盪方向便可實現對其控制。已經進行了初步研究以發現其推動速度與輸入控制信號之間的關係。當驅動頻率增長時，因爲流體動力阻尼力，機器人的跳動幅度單調減少。實驗數據和模型預測都顯示了對於特定控制波形的最佳驅動頻率的存在。實驗代表，該機器人可用於多種潛在醫療功能。

Robust Visual-Inertial State Estimation with Multiple Odometries and Efficient Mapping on an MAV with Ultra-Wide FOV Stereo Vision
魯棒多測度視覺慣性狀態估計及其在具備超廣角立體視覺的微型飛行器上的高效映射

論文做者	M. G. Mu ̈ller, F. Steidle, M. J. Schuster, P. Lutz, M. Maier, S. Stoneman, T. Tomic, and W. Sturzl
論文地址	論文出處：IEEE International Conference on Intelligent Robots and Systems，2018 論文地址：https://ieeexplore.ieee.org/document/8594117
論文摘要	這裏提出的飛行系統使用兩對廣角立體攝像機和地圖的興趣在短期內的一個大的地區。咱們提出了一種配備了兩對廣角立體攝像機和一個慣性測量單元(IMU)的多機系統，用於魯棒的視覺慣性導航和高效的全向三維製圖。四臺攝像機能夠垂直覆蓋240度的立體視場(FOV)，這使得該系統也適用於洞穴等狹窄和封閉的環境。在該方法中，咱們從四個廣角攝像機合成八個虛擬針孔攝像機。由此產生的四個針孔立體聲系統中的每個都提供了一個獨立的視覺測程(VO)輸入。隨後，基於四種運動估計與狀態估計的一致性，將四種運動估計與IMU的數據進行融合。咱們描述了視覺系統的配置和圖像處理，以及傳感器融合和測繪管道在MAV上。咱們證實了咱們的多vo方法的魯棒性視覺慣性導航和目前的三維測繪實驗結果。收起會議名稱:——
研究問題	近年來，微型飛行器（MAV）已用於各類各樣的應用中。他們可以快速到達感興趣的點或得到之前難以或不可能到達的視角，這使它們對於諸如勘探，檢查，搜索和救援之類的任務變得很是有用。提出了一種配備兩對廣角立體相機和一個慣性測量單元（IMU）的多旋翼系統，以實現強大的視覺慣性導航和省時的全向 3D 映射，以下圖所示。
研究方法	四個攝像頭垂直覆蓋了 240 度的立體視野（FOV），這使得該系統也適用於狹窄和狹窄的環境，例如洞穴。在所提出的方法中，從四個廣角攝像頭合成了八個虛擬針孔攝像頭。所得的四個合成針孔立體系統中的每個都爲獨立的視覺測距法（VO）提供輸入。隨後，基於它們與狀態估計的一致性，將四個單獨的運動估計與來自 IMU 的數據融合。
研究結果	提出了配備有四個廣角攝像機的 MAV。多達 240°的垂直立體視野使 MAV 可以感知其下方，上方和前方的對象，這與避障，路徑規劃和有效的映射等任務有關。實驗代表，由四個具備獨立關鍵幀的立體測距儀提供的魯棒運動估計，也能夠從較大的視野中受益，從而能夠進行狀態估計。