Apollo 3.0來了！百度自動駕駛硬件系統全解讀

做者 | 王石峯

編輯 | Natalie

AI 前線導讀： 百度 Apollo 3.0 發佈在即，本期 AI 前線社羣分享咱們很高興邀請到了百度自動駕駛技術部高級產品經理王石峯，爲咱們帶來《 自動駕駛汽車硬件系統概述》的乾貨分享。本場直播的講師和內容提供來自百度。

更多優質內容請關注微信公衆號「AI 前線」（ID：ai-front）

你們好，我是來自百度自動駕駛技術部的高級產品經理王石峯。負責傳感器、特種車輛識別、交通手勢識別的產品設計和項目管理的工做。很高興在這裏，經過社羣帶給你們自動駕駛中有關硬件系統的分享。

接下來，我將從五個方面爲你們作自動駕駛汽車硬件系統概述的內容分享，但願你們能夠經過個人分享，對硬件系統的基礎有個全面的瞭解：

1. 自動駕駛系統的硬件架構

2. 自動駕駛的傳感器

3. 自動駕駛傳感器的產品定義

4. 自動駕駛的大腦

5. 自動駕駛汽車的線控系統

根據美國國家運輸安全委員會的調查報告，當時涉事 Uber 汽車——一輛沃爾沃 SUV 系統上的傳感器在撞擊發生 6s 前就檢測到了受害者，並且在事故發生前 1.3 秒，原車自動駕駛系統肯定有必要採起緊急剎車，此時車輛處於計算機控制下時，原車的緊急剎車功能沒法啓用。因而剎車的責任由司機負責，但司機在事故發生前 0.5s 低頭觀看視頻未能擡頭看路。

從事故視頻和後續調查報告能夠看出，事故的主要緣由是車輛不在環和司機不在環形成的。Uber 在改造原車加裝自動駕駛系統時，將原車自帶的 AEB 功能執行部分截斷形成原車 ADAS 功能失效。自動駕駛系統感知到受害者肯定要執行應急制動時，並無聲音或圖像警報，此時司機正低頭看手機也沒有及時接管剎車。

目前絕大多數自動駕駛研發車都是改裝車輛，相關傳感器加裝到車頂，改變車輛的動力學模型；改裝車輛的剎車和轉向系統，也缺少不一樣的工況和兩冬一夏的測試。圖中 Uber 研發用車是 SUV 車型自身重心就較高，車頂加裝的設備進一步形成重心上移，在避讓轉向的過程當中轉向過急過分，發生碰撞時都會比原車更容易側翻。

因此在自動駕駛中，安全是自動駕駛技術開發的第一天條。爲了下降和避免實際道路測試中的風險，在實際道路測試前要作好充分的仿真、臺架、封閉場地的測試驗證。

• 軟件在環（Software in loop），經過軟件仿真來構建自動駕駛所需的各種場景，復現真實世界道路交通環境，從而進行自動駕駛技術的開發測試工做。軟件在環效率取決於仿真軟件可復現場景的程度。對交通環境與場景的模擬，包括複雜交通場景、真實交通流、天然天氣（雨、雪、霧、夜晚、燈光等）各類交通參與者（汽車、摩托車、自行車、行人等）。採用軟件對交通場景、道路、以及傳感器模擬仿真能夠給自動駕駛的環境感知提供豐富的輸入能夠對算法進行驗證和測試。

• 硬件在環（Hard-ware in loop），各類傳感器相似人的眼睛和耳朵，做爲自動駕駛系統的感知部分，該部分的性能決定了自動駕駛車輛可否適應複雜多變的交通環境。包括，攝像頭、毫米波雷達、超聲波雷達、激光雷達。針對不一樣的傳感器，硬件在環會根據不一樣的傳感器和環境因素來部署。

• 車輛在環（Vehicle in loop），車輛執行系統向傳動系統發出執行命令來控制車輛，在自動駕駛中取代了人類的手腳。自動駕駛系統的執行控制優劣決定了車輛是否可以安全溫馨的行駛。車輛運行在空曠的場地上，自動駕駛系統感知系統模擬的虛擬場景，自動駕駛系統根據虛擬的場景發出控制指令，再經過傳感器將車輛的真實軌跡反饋到虛擬環境中，實現真車與虛擬環境的融合，從而進行車輛操控的驗證。

• 司機在環（Driver in loop），基於實時仿真技術開發，結合駕駛員的實際行爲，能夠實現對車輛和自動駕駛技術開發測試作出主觀的評價。司機在環，能夠一方面得到司機的主觀評價，另外一方面能夠驗證人機共駕駛的功能。

1、自動駕駛系統的硬件架構

就總體而言，汽車是個全社會化管理的產品，其固有的行業特色是相對保守的。在人工智能的大潮下，面對造車新勢力和消費者需求變化的衝擊，傳統汽車行業漸進式的創新方法已經面臨巨大的挑戰。急需改變傳統的架構和方法不斷創新。自動駕駛總體的硬件架構不光要考慮系統自己也要考慮人的因素。

自動駕駛系統主要包含三個部分：感知、決策、控制。從整個硬件的架構上也要充分考慮系統感知、決策、控制的功能要求。總體設計和生產上要符合相關車規級標準，如 ISO2626二、AECQ-100、TS16949 等相關認證和標準。目前 L一、L二、ADAS 系統的硬件架構體系和供應鏈相對完善符合車規級要求。

感知層依賴大量傳感器的數據，分爲車輛運動、環境感知、駕駛員檢測三大類。

車輛運動傳感器：速度和角度傳感器提供車輛線控系統的相關橫行和縱向信息。慣性導航 + 全球定位系統 = 組合導航，提供全姿態信息參數和高精度定位信息。

環境感知傳感器：負責環境感知的傳感器相似於人的視覺和聽覺，若是沒有環境感知傳感器的支撐，將沒法實現自動駕駛功能。主要依靠激光雷達、攝像頭、毫米波雷達的數據融合提供給計算單元進行算法處理。V2X 就是周圍一切能與車輛發生關的事物進行通訊，包括 V2V 車輛通訊技術、V2I 與基礎設施如紅綠燈的通訊技術、V2P 車輛與行人的通訊。

駕駛員監測傳感器：基於攝像頭的非接觸式和基於生物電傳感器的接觸式。經過方向盤和儀表臺內集成的傳感器，將駕駛員的面部細節以及心臟、腦電等部位的數據進行收集，再根據這些部位數據變化，判斷駕駛員是否處於走神和疲勞駕駛狀態。

計算單元部分：各種傳感器採集的數據統一到計算單元處理，爲了保證自動駕駛的實時性要求，軟件響應最大延遲必須在可接受的範圍內，這對計算的要求很是高。目前主流的解決方案有基於 GPU、FPGA、ASIC 等。

車輛控制：自動駕駛須要用電信號控制車輛的轉向、制動、油門系統，其中涉及到車輛地盤的線控改裝，目前在具有自適應巡航、緊急制動、自動泊車功能的車上能夠直接借用原車的系統，經過 CAN 總線控制而不須要過分改裝。

警告系統：主要是經過聲音、圖像、振動提醒司機注意，經過 HMI 的設計有效減小司機睏倦、分心的行爲。

2、自動駕駛的傳感器

攝像頭：主要用於車道線、交通標示牌、紅綠燈以及車輛、行人檢測，有檢測信息全面、價格便宜的特定，但會受到雨雪天氣和光照的影響。由鏡頭、鏡頭模組、濾光片、CMOS／CCD、ISP、數據傳輸部分組成。光線通過光學鏡頭和濾光片後聚焦到傳感器上，經過 CMOS 或 CCD 集成電路將光信號轉換成電信號，再通過圖像處理器（ISP）轉換成標準的 RAW，RGB 或 YUV 等格式的數字圖像信號，經過數據傳輸接口傳到計算機端。

激光雷達：激光雷達使用的技術是飛行時間法（Time of Flight）根據光線遇到障礙的折返時間計算距離。爲了覆蓋必定角度範圍須要進行角度掃描，從而出現了各類掃描原理。主要分爲：同軸旋轉、棱鏡旋轉、MEMS 掃描、相位式、閃爍式。激光雷達不光用於感知也應用於高精度地圖的測繪和定位是公認 L3 級以上自動駕駛必不可少的傳感器。

毫米波雷達：主要用於交通車輛的檢測，檢測速度快、準確，不易受到天氣影響，對車道線交通標誌等沒法檢測。毫米波雷達由芯片、天線、算法共同組成，基本原理是發射一束電磁波，觀察回波與入射波的差別來計算距離、速度等。成像精度的衡量指標爲距離探測精度、角分辨率、速度差分辨率。毫米波頻率越高，帶寬越寬，成像約精細，主要分爲 77GHz 和 24GHz 兩種類型 。

組合導航：GNSS 板卡經過天線接收全部可見 GPS 衛星和 RTK 的信號後，進行解譯和計算獲得自身的空間位置。當車輛經過遂道或行駛在高聳的樓羣間的街道時，這種信號盲區因爲信號受遮擋而不能實施導航的風險。就須要融合 INS 的信息，INS 具備全天候、徹底自主、不受外界干擾、能夠提供全導航參數（位置、速度、姿態）等優勢，組合以後能達到比兩個獨立運行的最好性能還要好的定位測姿性能。

3、自動駕駛傳感器的產品定義

這張表總結了常見自動駕駛功能所使用的傳感器，以及各個傳感器的應用。針對 L一、L2 的自動駕駛功能各國也紛紛出臺了相關標準，加速了市場的發展和產品落地。歐盟新車安全評鑑協會 (E-NCAP) 從 2013 年起便在評分規則中增長了 ADAS 內容，計劃到 2017 年速度輔助系統 (SAS)、自動緊急制動 (AEB)、車道偏離預警 / 車道偏離輔助 (LDW/LKD) 的加分要求爲系統，裝機量達到 100%。美國國家公路交通安全管理局 (NHTSA) 和高速公路安全保險協 (IIHS) 也提出 2022 年將自動緊急制動 (AEB) 等 ADAS 功能歸入技術標準。

自動駕駛要求侷限於車輛的 ODD（Operational Design Domain），即設計適用範圍。城市道路 + 城際高速是自動駕駛汽車廣泛的適用範圍。我國城市封閉道路最高限速 80 千米／小時，高速公路限速 120 千米／小時。乾燥的柏油路面摩擦係數是 0.6，根據剎車距離公式：S=V*V/2gμ 去計算剎車距離得出第一行的表格，再結合自動駕駛系統反應時間和制動系統反應時間得出下表。

從兩個表格能夠看出，剎車距離與速度的平方成正比，與摩擦係數成反比。當摩擦係數必定時，剎車距離取決於車速，若是車速增長 1 倍，剎車距離將增大至 4 倍。摩擦係數μ主要與路面材質和天氣相關。

自動駕駛傳感器在中國最高限速 120 千米的狀況下，探測距離達到 150m 就能夠知足需求了，自動駕駛的技術開發者能夠根據實際場景的速度來選擇所須要的傳感器，沒有必要一味追求傳感器的性能提升總體成本。

傳感器的分辨率和物體探測的關係能夠用 atan 反正切函數來計算，圖中給出的公式多除以了個 2，主要是爲了保證在傳感器探測時當最小角度是最小目標一半時，任意狀況都能覆蓋到某個像素保證分辨。避免物體剛好不是在一個角度內而產生漏檢。

理論上分辨率 0.4 度時 100m 外就能夠探測到一輛車，而在 0.1 度分辨率下 400m 外就能探測到。但檢測只是識別到有個物體並不表明能識別，從自動駕駛的算法角度來說，好比激光雷達物體識別須要 4 到 5 條線掃描上才能識別出物體的類別。從這個角度看自動駕駛系統若是用 0.4 度分辨率的激光雷達在 50m 範圍內才能真正識別出一輛車。

自動駕駛離不了多傳感器融合，其中激光雷達和攝像頭都是光學類的傳感器，核心零部件和處理電路類似。有望將兩個傳感器前端融合到一塊兒，直接輸出 R、G、B、X、Y、Z 顏色 + 點雲融合信息。在傳感器內部實現數據融合可大幅度下降後端的計算處理量。

其中以 AEye 爲表明 ，其 iDAR 智能感知系統可以瞬間將 2D 真實世界的色彩信息智能地疊加在 3D 數據上。其動態掃描和發射圖紋技術、經過控制每束激光脈衝的掃描，可查詢每一個點的三維座標和像素。

4、自動駕駛的大腦

IPC 即工業我的計算機（Industrial Personal Computer─IPC）是一種加固的加強型我的計算機，它能夠做爲一個工業控制器在工業環境中可靠運行。採用符合「EIA」標準的全鋼化工業機箱，加強了抗電磁干擾能力，採用總線結構和模塊化設計技術。CPU 及各功能模塊皆使用插板式結構，並帶有壓桿軟鎖定，提升了抗衝擊、抗振動能力。

總體架構設計須要考慮 ISO26262 的要求，CPU、GPU、 FPGA 以及總線都作冗餘設計，防止單點故障。當總體 IPC 系統失效還有 MCU 作最後的保證，直接發送指令到車輛 Can 總線中控制車輛停車。

目前這種集中式的架構，將全部的計算工做統一放到一個工控機中，總體體積較大，功耗高，不適用於將來的量產。但這種架構很是方便，算法迭代不須要過分考慮硬件的總體設計和車規要求。用傳統的 X86 架構就能夠很是快捷的搭建出計算平臺，卡槽設計也方便硬件的更新。

採用工控機集中式運算總體體積和功耗難以知足量產化要求，須要採用域控制器嵌入式的方案。將各個傳感器的原始數據接入到 Sensor Box 中，在 Sensor Box 中完成數據的融合，再將融合後的數據傳輸到計算平臺上進行自動駕駛算法處理。

自動駕駛汽車功能複雜，保證各個模塊和功能間不互相影響和安全性考慮，將大量採用域控制器。根據不一樣的功能實現分爲，車身域控制器、車載娛樂域控制器、動力總成域控制器、自動駕駛域控制器等。以自動駕駛域控制器爲例，其承擔了自動駕駛所須要的數據處理運算力，包括毫米波雷達、攝像頭、激光雷達、組合導航等設備的數據處理，也承擔了自動駕駛算法的運算。

隨着自動駕駛的技術發展，算法不斷完善。算法固化後能夠作 ASIC 專用芯片，將傳感器和算法集成到一塊兒，實如今傳感器內部完成邊緣計算。進一步下降後端計算平臺的計算量，有利於下降功耗、體積、車規化。其中以 Mobileye 爲標杆性企業。

激光雷達處理須要高效的處理平臺和先進的嵌入式軟件。如圖 Renesas 將包含高性能圖像處理技術及低功耗的汽車 R-CarSoC 與 Dibotics 的 3D 實時定位和製圖（SLAM）技術相結合，提供 SLAM on Chip™。SLAM 可在 SoC 上實現高性能所需的 3D SLAM 處理。Dibotics 公司也開發了一款名爲「Augmented LiDAR」的嵌入式 LiDAR 軟件，可以提供實時、先進的 LiDAR 數據處理。

ASIC 芯片是根據某類特定的需求去專門定製的芯片，比通用性的 GPU、FPGA 體積小、功耗低，性能穩定批量化成本低的特定。自動駕駛的算法公司只要作好芯片的前端設計，後端的製造和工藝都是很是成熟的產業，徹底能夠依靠外包實現。

芯片的製做流程是由芯片設計、芯片製造、芯片封裝三部分組成。

前端設計完成以後，能夠根據實際算法需求選擇 IP 核經過 EDA（電子設計自動化）完成布圖規劃、佈局、佈線。根據延遲、功耗、面積等方面的約束信息，合理設置物理設計工具的參數，以獲取最佳的配置從而決定元件在晶圓上的物理位置。

芯片製造工藝上正從 193nm 深紫外（DUV）向 13.5nm 極紫外（EUV）發展。半導體正步入 7nm 時代，更先進的工藝帶來性能上的提高，對比 16nm 工藝 7nm 可提高 40% 的性能和節省 60% 的能耗。

芯片封測是指將經過測試的晶圓按照產品型號及功能需求加工獲得獨立芯片的過程。在封測的過程當中完成對芯片車規級要求，傳統的汽車電子企業如 NXP 和 ST 有着更加豐富的經驗。

5、自動駕駛汽車的線控系統

線控就是 Control by Wire 的直譯 。簡單理解，就是車輛的控制都是由一系列命令而執行的，而不是物理的操做進行執行的。

自動駕駛主要分爲感知決策控制三部分，控制層是自動駕駛落地的基礎。感知定位如同司機的眼睛，決策規劃如同大腦，執行控制就比如手和腳了。作好自動駕駛的決策規劃也必須懂得執行控制，爲了實現自動駕駛，執行機構的線控化是必然趨勢，其中包括線控制動、線控轉向、線控油門。

在傳統車輛上，制動系統多采用液壓或真空伺服機構來控制制動，對自動駕駛而言線控制動是最終的發展趨勢，線控制動是以電子系統取代液壓或氣壓控制單元。

上圖是大陸的線控制動解決方案，MK C1 與 MK100 組成冗餘線控方案。MK C1 將制動助力以及制動壓力控制模塊 (ABS、ESC) 被集成爲一個結構緊湊、重量輕省的制動單元。MK C1 能知足自動駕駛對壓力動態特性更高的要求，電觸發的緊急制動所產生的制動距離要短得多。MK100 是大陸的汽車電子穩定控制系統（ESC），在汽車防抱死制動系統 (ABS) 和牽引力控制系統 (TCS) 功能的基礎上，增長了車輛轉向行駛時橫擺率傳感器、測向加速度傳感器和方向盤轉角傳感器，經過 ECU 控制先後、左右車輪的驅動力和制動力，確保車輛行駛的側向穩定性。

電子助力轉向（EPS）與線控轉向最大的區別在於，EPS 方向盤與車輪之間連接並未參與線控技術，依然採用的機械連接。從電信號控制角度看 EPS 也能夠當作是一種線控轉向系統。

英菲尼迪 Q50 線控主動轉向系統基本上仍是延續了傳統轉向系統的結構。只是增長了一套離合器裝置以及三組 ECU 電子控制單元和一個轉向力度回饋器。當車輛啓動時，離合裝置會自動切斷鏈接，轉向的任務交由電控系統。因爲採用電子信號控制，其傳動響應更爲迅速，也更爲輕鬆。

線控油門就是電子油門，經過位置傳感器傳送油門踩踏深淺與快慢的訊號 ，從而實現油門功能的電子控制裝置。這個訊號會被 ECU 接收和解讀，而後再發出控制指令 ，要節氣門依指令快速或緩和開啓它應當張開的角度。這個過程精準而快速。不會有機械磨耗的問題。

電子油門目前已大量普及，凡具有定速巡航便可認定有電子油門，早期電子油門爲接觸式，近來已經改成非接觸式。電車依靠電機扭矩實現，直接發扭矩信號便可，油車依靠發動機管理系統（EMS）發扭矩信號實現。

轉向的最先改裝是在轉向管柱端截斷加裝轉向電機進行改造。以後利用原車轉向助力系統進行轉向控制。

制動的最先改裝是加裝電機踏板，後續利用原車的 ESC 系統進行控制，將來會選用 MK C1 之類的線控控制系統。

加速的最先改裝都是發扭矩信號依靠 EMS 實現，後續的改裝方案都是借用原車 ACC 接口由電子油門來執行。

自動駕駛面向量產的線控方案，能夠參考英菲尼迪 Q50 的線控轉向、大陸 MK100+MK C1 的線控制動來實現。由自動駕駛域控制器直接輸出電機扭矩／制動壓力信號給轉向剎車的執行機構，結合大量的測試標定實現精準控制，從而給司乘人員帶來完美的體感溫馨度。

從 VSI 發佈自動駕駛產業佈局圖中能夠看出自動駕駛產業，是汽車、新能源、IT 通信、交通運輸、半導體、人工智能、互聯網等多個 10 萬億巨無霸產業的跨界融合體。自動駕駛汽車是物質流、能量流、信息流的聚合體，須要行業各方深度合做，只有軟硬件深度整合，打通藩籬跨界的企業才能摘得皇冠上的明珠。

本次分享的部份內容參考了我參與撰寫的《智能汽車：決戰2020》一書，內容涵蓋技術到實戰、政策到市場、創業到投資，並對全產業鏈進行了全貌梳理。

Apollo 3.0 將在 7 月 4 日百度開發者大會上與你們見面，將開放更多硬件能力給開發者，歡迎你們到現場見證 Apollo 3.0 的發佈！更多硬件相關的技術乾貨也能夠繼續關注後續的社羣分享。

更多學習資料和自動駕駛相關技術內容，你們能夠關注 Apollo 開發者社區的公衆號來獲取，歡迎你們在這裏溝通交流！

Q & A

Q1：目前哪些市面上的車型可以支持無人駕駛的線控改裝？

A1: 絕大多數不能，具有自動泊車、AEB、ACC 功能的車輛都有但願進行不破壞原車的執行機構的改裝。其餘的只能經過破壞原車執行機構進行暴力改裝。

Q2: 若是因爲使用場景限制，激光雷達沒法安裝在車頂，而是在車輛周圍安裝多個激光雷達，會帶來哪些影響？

A2：須要作激光雷達的外耦合。耦合完成實現 360 度的識別。

Q3：若是對無人車輛的停車定位精度要求很高（水平位置精度和航向精度），建議採起哪些解決方法？

A3：定位精度能夠依靠 RTK 差分定位實現，目前 RTK 能夠實現釐米級的定位。其次能夠再融合激光雷達的數據，激光雷達自身測量精度可達到 2cm。經過這兩種傳感器的數據結合優秀的算法可實現高精度的定位要求。

Q4：請問，汽車用的主控制器：CPU 都有哪些主流廠家提供？

A4: CPU 目前都是用的 X86 的 intel 的。若是作 ASIC 芯片用的都是 ARM 核的

Q5: 制動的最先改裝是加裝電機踏板，後續利用原車的 ESC 系統進行控制，將來會選用 MK C1 之類的線控控制系統。市面上改裝的林肯 MKZ 等車制動也是經過 ESC 作的麼？

A5：MKZ 原車自帶的泊車系統具備較好的線控能力，其制動基於車身自帶的 ESC。

Q6：可否再介紹一下 appollo 的 sensorbox？

A6：更多介紹能夠來 7 月 4 日 Apollo 3.0 發佈會現場尋找答案

Q7：只經過攝像頭檢測，可否達到監督駕駛員精神是否集中的目的？若是能，戴墨鏡的狀態下如何實現？謝謝

A7：監視員檢測不光是依靠攝像頭，戴墨鏡的狀況能夠靠生物電傳感器，此傳感器是放在方向盤裏，能夠經過手與方向盤的接觸感應人體生物電從而判斷注意力是否集中或者駕駛疲勞的狀況

Q8：請問國內作線控改裝的有哪些公司？價格大概是多少？

A8：目前 Apollo 認證的 MKZ 參考車輛由 AS 公司提供。Apollo 也歡迎車企／車輛改裝服務商加入 Apollo 生態，豐富咱們的參考車輛類型，下降 Apollo 上車門檻。

Q9：請問多傳感器之間的外參標定採用什麼方法呢？

A9：能夠參考 Apollo 的傳感器標定文檔https://github.com/ApolloAuto/apollo/blob/master/docs/quickstart/multiple_lidar_gnss_calibration_guide.mdhttps://github.com/ApolloAuto/apollo/blob/master/docs/quickstart/apollo_2_0_sensor_calibration_guide.mdhttps://github.com/Apol

Q10：石峯老師，個人問題也是關於 sensor box 的，如今內部是用 fpga，未來算法固化後會採用 asic 嗎？

A10：能夠把 FPGA 當作是 ASIC 的前端設計部分。算法固化後確實能夠作 ASIC 芯片，量產化的成本功耗優點明顯。