AutoML：自動設計自動駕駛機器學習模型

譯者說

本人介紹了谷歌自動駕駛子公司Waymo在AutoML領域的研究成果。自動駕駛對神經網絡模型的準確性和延遲要求，這要求工程師手動調優不一樣的神經網絡架構，這不只花費了大量的時間，並且可以調優的數量是有限的。所以，Waymo和Google AI的研究員合做，自動生成神經網絡架構並訓練評估，即AutoML，以便節約時間並尋找最佳模型。本文介紹了他們的初步研究成果，從取得的進展來看，將來可期。

正文

By: Shuyang Cheng and Gabriel Bender

在Waymo，機器學習幾乎在咱們自動駕駛系統的每一個模塊都起着關鍵做用。它能夠幫助咱們的汽車看清周圍的環境、感知世界、預測其餘人的行爲，並決定本身下一步最佳移動。

採起感知：咱們的系統組合多個神經網絡，使車輛可以解釋傳感器數據以識別物體，並隨着時間的推移跟蹤它們，以便車輛可以深刻理解周圍的世界。建立這些神經網絡一般是一項耗時的任務; 咱們要優化神經網絡架構，以使網絡的質量和速度知足在自動駕駛汽車上運行，這是一個複雜的微調過程，一項新任務的調優一般花費工程師數月時間。

如今，咱們與Brain團隊的Google AI研究員合做，將前沿研究付諸實踐來自動生成神經網絡。更重要的是，這些自動生成的神經網絡比工程師手動調優的網絡具備更高的質量和更快的速度。

爲了把咱們的自動駕駛技術帶到不一樣的城市和環境，咱們須要以極快的速度優化咱們的模型以適應不一樣的場景。AutoML讓咱們作到這一點，它提供了大量的有效且持續的ML解決方案。

遷移學習：使用現有的AutoML架構

咱們的合做始於一個簡單的問題：AutoML可否爲汽車生成高質量和低延遲的神經網絡？

質量衡量神經網絡的準確性。延遲衡量神經網絡的速度，它也稱爲推理時間。因爲駕駛是一項須要車輛實時反饋、系統足夠安全的關鍵活動，所以咱們的神經網絡須要低延遲運行。咱們大部分直接運行在車輛上的神經網絡提供結果的延遲小於10ms，這比在數據中心數千臺服務器上運行的許多神經網絡快。

在他們的第一版AutoML論文中，咱們的Google AI同事可以自動探索超過12000種架構來解決經典的CIFAR-10圖像識別任務：將小圖像識別爲十個類別中的一個，例如汽車、飛機、狗等。在一篇後續文章中，他們發現了一組神經網絡構建模塊，稱之爲NAS單元，對於CIFAR-10和相似的任務，NAS單元自動構建的神經網路比手工調優的要好。經過此次合做，咱們的研究人員決定使用這些單元自動構建針對自動駕駛任務的新模型，從而將在CIFAR-10上學到的知識遷移到自動駕駛領域。咱們的第一個實驗是語義分割任務：將LiDAR點雲中的每一個點標識爲汽車、行人、樹等。

One example of a NAS cell. This cell processes inputs from the two previous layers in a neural net.

爲此，咱們的研究員編寫了一個自動搜索算法，在卷積網絡架構（CNN）中探索數百種不一樣的NAS單元組合，訓練和評估咱們的LiDAR分割任務模型。當咱們的工程師手工微調這些神經網絡時，他們只能探索有限數量的架構，但經過這種方法，咱們自動探索了數百個架構。咱們發現新的模型在如下兩方面優於之前手工調優的模型：

• 質量類似，但延遲顯着下降。
• 延遲類似，但質量更高。

鑑於初步嘗試取得的成功，咱們將相同的搜索算法應用於兩個與交通車道的檢測和定位相關的附加任務。遷移學習技術也適用於這些任務，而且咱們可以在汽車上部署三個新訓練和改進的神經網絡。

端到端搜索：從頭開始的新搜索架構

咱們受到這些初步結果的鼓舞，所以決定尋找能夠提供更好結果和更普遍應用的全新架構。經過無限制組合已發現的NAS單元，咱們能夠更直接地尋找知足嚴格的延遲要求的架構。

進行端到端搜索一般須要手動探索數千種架構，會帶來大量的計算成本。探索單一架構須要在具備多個GPU的數據中心計算機上進行數天的訓練，這意味着單個任務找到理想的架構須要數千天的計算。所以咱們設計了一個代理任務：縮小的LiDAR分割任務，能夠在幾小時內完成訓練。

團隊必須克服的一個挑戰是找到一個相似於咱們原始分割任務的代理任務。在咱們可以肯定新任務架構的質量與原始任務中架構的質量之間的關聯以前，咱們嘗試設計了幾個代理任務。而後，咱們啓動了相似於第一版AutoML論文中的搜索算法，但如今用在代理任務上進行搜索：代理端到端搜索。這是該概念首次應用於LiDAR數據。

Proxy end-to-end search: Explore thousands of architecture on a scaled-down proxy task, apply the 100 best ones to the original task, validate and deploy the best of the best architectures on the car.

咱們使用了幾種搜索算法來優化質量和延遲，由於這對車輛相當重要。咱們查看不一樣類型的CNN架構並使用不一樣的搜索策略，例如隨機搜索和強化學習，咱們爲代理任務探索10000多種不一樣的架構。經過使用代理任務，原來在Google TPU集羣上須要一年多計算時間的任務如今只須要兩週時間。咱們剛開始遷移NAS單元時就發現了比之前更好的神經網絡：

• 延遲下降20-30％，質量相同。
• 質量更高，錯誤率下降8-10％，與以前的架構具備相同的延遲。

1) The first graph shows about 4,000 architectures discovered with a random search on a simple set of architectures. Each point is an architecture that was trained and evaluated. The solid line marks the best architectures at different inference time constraints. The red dot shows the latency and performance of the net built with transfer learning. In this random search, the nets were not as good as the one from transfer learning.
2) In the second graph, the yellow and blue points show the results of two other search algorithms. The yellow one was a random search on a refined set of architectures. The blue one used reinforcement learning as in [1] and explored more than 6,000 architectures. It yielded the best results. These two additional searches found nets that were significantly better than the net from transfer learning.

搜索中發現的一些網絡架構顯示了卷積、池化和反捲積操做的創造性組合，以下圖所示。這些架構最終適用於咱們最初的LiDAR分割任務，並將部署在Waymo的自動駕駛車輛上。

One of the neural net architectures discovered by the proxy end-to-end search.

下一步呢？

咱們的AutoML實驗只是一個開始。對於咱們的LiDAR分割任務，遷移學習和代理端到端搜索都提供了比手工調優更好的神經網絡。咱們如今有機會將這些機制應用於新類型的任務，這能夠改善許多神經網絡。

這一發展爲咱們將來的ML工做開闢了新的使人興奮的途徑，並將改善咱們自動駕駛技術的性能和能力。咱們期待與Google AI進一步工做，敬請期待！

致謝

Waymo和Google之間的合做由Waymo的Matthieu Devin和Google的Quoc Le發起和贊助。這項工做由Waymo的Shuyang Cheng和Google的Gabriel Bender以及Pieter-jan Kindermans執行。特別感謝Vishy Tirumalashetty的支持。

Members of the Waymo and Google teams (from left): Gabriel Bender, Shuyang Cheng, Matthieu Devin, and Quoc Le

說明

• 翻譯：@AdolphLWQ
• 項目地址
• tt：自動生成翻譯模板
• 用時: 2.5h(人機混合)
• 2019翻譯任務：3/52

參考文獻

• Barret Zoph and Quoc V. Le. Neural architecture search with reinforcement learning. ICLR, 2017.
• Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le, Learning Transferable Architectures for Scalable Image Recognition. CVPR, 2018.