清華大學鄧志東：自動駕駛的「感」與「知」 - 挑戰與機遇

不到現場，照樣看最乾貨的學術報告！

嗨，你們好。這裏是學術報告專欄，讀芯術小編不按期挑選並親自跑會，爲你們奉獻科技領域最優秀的學術報告，爲同窗們記錄報告乾貨，並千方百計搞到一手的PPT和現場視頻——足夠乾貨，足夠新鮮！話很少說，快快看過來，但願這些優秀的青年學者、專家傑青的學術報告 ，能讓您在業餘時間的知識閱讀更有價值。

人工智能論壇現在浩如煙海，有硬貨、有乾貨的講座卻鳳毛麟角。「AI將來說·青年學術論壇」系列講座由中國科學院大學主辦，承辦單位爲中國科學院大學學生會，協辦單位爲中國科學院計算所研究生會、網絡中心研究生會、人工智能學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會，百度爲支持單位，讀芯術、PaperWeekly爲合做自媒體。「AI將來說·青年學術論壇」第七期「自動駕駛」專場已於2019年7月22日下午在中科院舉行。清華大學鄧志東教授爲你們帶來報告《自動駕駛的「感」與「知」 - 挑戰與機遇》。

鄧志東，清華大學計算機系教授，博士生導師。現爲中國自動化學會會士，中國人工智能產業創新聯盟專家委主任，第一屆科創板諮詢委委員，中國自動化學會智能自動化專委會主任，中國自動化學會智能製造專委會副主任，新興產業百人會專家等。曾任美國華盛頓大學（WashU）客座教授（2001-2003，對方聘用），香港理工大學ResearchAssociate（1996-1997，對方聘用），國家863計劃智能機器人主題專家組組長助理（1998－2001），深圳市拓邦電子科技股份有限公司（上市公司）獨立董事（2006－2012）等。前後主持973項目一級課題、NSFC重大研究計劃重點項目、863計劃重點項目、國家重點研發計劃課題等科研項目30餘項。發表學術論文250餘篇，其中被WOS收錄85篇，EI收錄123篇，參編教材或專著5本。目前的研究方向包括：人工智能（深度神經網絡、深度強化學習）、計算神經科學、無人駕駛汽車、先進機器人等。

報告內容：在人工智能、道路交通大數據、高精地圖、5G、車聯網、邊緣計算、雲平臺、智慧道路以及智慧城市等的協力支撐下，自動駕駛的全球產業生態正在快速造成之中。結合特定細分應用場景，在大數據與大計算能力的支撐下，人工智能正日益成爲自動駕駛環境感知、自主導航、信息融合、自主決策等的基礎性技術。但目前視覺人工智能只有「感「。不但缺少觸類旁通的小樣本學習能力，並且不能完成認知水平的理解，也缺少常識與推理，即不具備所謂的」知「，這就從根本上限制了自動駕駛的產業落地速度與水平。在自動駕駛落地實踐中，探索具備理解能力和小樣本學習能力的新一代視覺人工智能，突破自動駕駛之「感」與「知「難題，則既是挑戰也是機遇。

自動駕駛的「感」與「知」 - 挑戰與機遇

鄧志東老師首先介紹了自動駕駛產業生態已初具規模的現狀，以新「四化」趨勢（電動化→ 信息化 → 智能化 → 共享化）引入，並引出了自動駕駛如何落地的主題。因爲開放式的道路交通環境和形形色色的不遵照交通規則者，使自動駕駛面臨的環境具備不肯定性和高動態的特色，同時，安全性問題更是自動駕駛發展的黃金標準。自動駕駛要知足絕對的安全性要求，所以，其產品落地很是艱難。此外，自動駕駛生態建設也很是關鍵。

自動駕駛產業存在跨界融合、鏈條太長、落地時間過久以及高端人才稀缺等問題，所以產業生態建設正在成爲國際競合的關鍵。鄧志東老師在報告中給出了推進中國自動駕駛生態建設的建議：1）加快5G組網，推進「5G×AI+自動駕駛」建設；2）加快自動駕駛政策法規建設，如：由政府按期發佈路測「脫離」報告；3）使自動駕駛投融資活動更趨活躍與多樣化，如：孵化風投，多輪融資，戰略投資以及科創板上市；4）推進戰略合做聯盟，如：鼓勵新老車企與國內外跨界科技企業結成各類戰略創新聯盟；5）增強百度構建的世界最大的Apollo開源開放自動駕駛生態建設。

自動駕駛產業的佈局分爲上游、中游和下游。其中，上游包括車規級全固態激光雷達，自動駕駛芯片及域控制器，自動駕駛操做系統，信息化汽車平臺，大數據，邊緣計算，雲平臺，高精地圖，V2X（基於5G,NB-IOT/LoRa）等；中游包括主動安全（如AEB），高級智能輔助駕駛，L3量產汽車，L4低速汽車（無人物流、無人末端配送、無人擺渡、無人移動服務/MaaS等），L4量產汽車（RoboTaxi、無人長途貨運、無人公交）等；下游包括共享無人貨運，共享無人出行，共享MaaS，智能增值服務，自動駕駛遠程安全監控與雲管端服務，自動駕駛測試基地/小鎮，智慧道路，智慧城市等。

而後介紹了SAE（Society of Automotive Engineers）標準中的 L2-L4等級：1）SAE L2是初級自動駕駛，須要隨時接管，在駕駛的過程當中須要安全和監控駕駛員，不能處理極端、緊急狀況下的感知與決策問題；2）SAEL3是中級自動駕駛，須要人輔助，在駕駛過程當中僅須要監控駕駛員，能夠處理極端與緊急狀況下的感知問題，但不能處理決策問題；3）SAE L4是高級自動駕駛，可以自主處理各類極端環境與緊急情況，在駕駛時不須要人類安全員，但限定區域或功能。

此外，自動駕駛產業生態已初具規模還表現爲商業模式逐漸明晰，全固態激光雷達與自動駕駛芯片和車規量產成爲主要目標，人工智能成爲基礎技術以及相關的產業支撐。自動駕駛落地的主要瓶頸是環境感知、自主導航與信息融合，歸結起來就是感知或者說「感」與「知」的問題，而其核心則是視覺智能。相關的產業支撐包括：人工智能×5G加持的「雲邊端」，高精（柵格/認知）地圖構建的釐米級精度的環境模型，專用車道的開闢以及智慧道路的建設等。

接着鄧志東老師介紹了視覺感知智能成爲自動駕駛的基礎性技術的現狀。視覺感知智能主要涉及算法（深度卷積神經網絡+GAN+深度強化學習等），大數據（場景大數據、目標大數據、行爲意圖大數據、駕駛行爲決策大數據、駕駛軌跡大數據等），算力（如移動端、邊緣端、雲端；離線訓練深度學習加速器），細分場景（場景/目標/行爲意圖感知、認知地圖與導航、信息融合、自主決策、智能控制等）和垂直整合等5個維度。進而介紹了基於人工智能的創新性算法，主要包括共性關鍵技術和前沿核心技術。其中，共性關鍵技術包括：1）深度學習+環境感知；2）深度學習+自主導航；3）深度學習+信息融合；4）深度學習+決策/控制。前沿核心技術包括：1）基於深度學習的目標/行爲意圖檢測與識別；2）基於深度學習的認知地圖建立與自主導航；3）基於深度學習的多模態信息融合；4）基於深度強化學習的自主決策、規劃與控制。並進一步介紹了相關的應用，如：在環境感知中的應用，包括基於視覺深度學習的道路交通場景語義分割、基於視覺深度學習的道路感知、基於視覺深度學習的交通標識檢測與識別、基於視覺深度學習的地面交通標識檢測與識別、基於視覺深度學習的障礙物檢測與識別以及基於視覺深度學習的行爲意圖預測等；在自主導航技術中的應用，包括基於視覺深度學習的多模態自主導航等；在信息融合中的應用，包括基於視覺深度學習的多模態信息融合等。

由傳統計算機視覺方法、基於數據驅動的視覺深度學習方法和人類視覺能力的對比引入，介紹了目前自動駕駛所取得的主要進展，但同時也指出了自動駕駛落地面臨的主要挑戰：1）缺少認知水平的理解能力；2）缺少知識推理能力；3）缺少記憶、常識、經驗、技巧與知識學習能力；4）缺少觸類旁通的小樣本學習能力；5）缺少可解釋性以及高層規劃、決策與組織能力。

由自動駕駛落地所面臨的主要挑戰出發，引出了探索具備理解能力的視覺認知智能（Visual Cognition Intelligence, VCI）主題。視覺智能由視覺感知智能和視覺認知智能組成，其中，視覺認知智能是知覺和認知的總體反映，即經過概念的抽象、延伸及基於知識的記憶、學習與推理等得到的可理解性以及進一步得到的可解釋性與規劃決策等。在闡述視覺認知智能方法時介紹了圖卷積神經網絡，與之前的方法相比，該方法從特徵學習拓展到了知識學習，並介紹了其中的幾個重要的概念：1）圖卷積神經網絡，即在圖卷積神經網絡架構下，結合機率圖模型（知識圖譜）抽象、延伸概念，賦以其內涵與外延，關聯其關係，以實現認知水平下的理解；2）知識表達，即圖卷積神經網絡經過學習進行時空遞歸，得到知識（實例/實體及其關係）的表達、記憶與加載功能；3）無監督神經網絡，即以深度學習+無監督學習方式進行實體識別，提高小樣本條件下的檢測與識別性能；4）知識學習，即語言智能，關鍵是如何自動從數據中析構出語言模型的實體、關係及其生成式規則，得到學習能力；5）因果/知識推理，即規則+常識+經驗。

最後，鄧志東老師對所講的內容進行了總結與歸納：1）自動駕駛產業生態正在快速造成之中，AEB、自主泊車、智能艙、L3的MaaS、L4的RoboTaxi等成爲全球自動駕駛產業關注的焦點；2）全球估值最高的4大自動駕駛巨頭，均聚焦於L4級別的無人駕駛出租車RoboTaxi；3）結合特定細分應用場景，視覺感知智能日益成爲自動駕駛環境感知、自主導航、信息融合、自主決策、智能規劃與自主學習的基礎性技術；4）較之傳統的計算機視覺技術，在大數據與大計算能力的支撐下，由監督式深度學習算法得到的視覺感知能力，從檢測、分割與識別的角度來看，已更加接近於人類的水平；5）現有的視覺感知智能缺少認知水平的理解能力，缺少知識推理能力，缺少記憶、常識、經驗、技巧與知識學習能力，缺少觸類旁通的小樣本學習能力，於是也沒法得到如同人類同樣的安全、可靠、可信的自動駕駛能力；6）亟需探索具備理解與知識推理能力等的新一代視覺認知智能理論與方法，以從源頭上推進中國自動駕駛產業的創新發展與大規模商業落地應用。更多精彩內容請關注視頻分享。

留言 點贊 關注

咱們一塊兒分享AI學習與發展的乾貨

歡迎關注全平臺AI垂類自媒體 「讀芯術」

（添加小編微信：dxsxbb，加入讀者圈，一塊兒討論最新鮮的人工智能科技哦～）