谷歌AutoML憑什麼成爲「下一代AI黑科技」？

策劃編輯｜Vincent

編輯｜Debra

AI 前線導讀：1 月 18 日，由於一條博客，AI 界炸鍋了，谷歌雲首席科學家李飛飛和谷歌雲研發負責人李佳宣告 Cloud AutoML 的問世。什麼是 AutoML？簡單來講，就是不論你有沒有機器學習相關的背景，哪怕你是個小白，均可以經過 AutoML 簡單、高效地進行工做所需的模型訓練，甚至被稱爲「下一代」機器學習系統。AI 前線將爲你帶來最全面的全球 AutoML 系統盤點，做爲本系列的第一章，咱們會從基礎開始，讓你全面瞭解 AutoML 及其功能，同時帶來谷歌 AutoML 系統的詳盡解析，話很少說，咱們開始吧！

更多幹貨內容請關注微信公衆號「AI 前線」，（ID：ai-front）

爲何咱們須要 AutoML？

在談論這個問題以前，咱們須要先弄清楚機器學習的通常步驟。

其實，不管是圖像識別、語音識別仍是其餘的機器學習項目，其結構差異是很小的，一個效果好的模型須要大量的經驗來調優。實現過程有如下步驟：

• 數據預處理

• 特性選擇

• 模型算法選擇

• 調參

• 上線後模型的再優化

• 效果評估

在 AI 浪潮再次興起的背景下，許多企業都對 AI 躍躍欲試，但由於相關人才在全球都呈現稀缺，企業想招人也不見得招獲得，要不就是得重金聘請，像是美國頂尖 AI 科學家的年薪已經達到美國國家美式足球聯盟（NFL）四分衛的水平（平均 270 萬美金 / 年），甚至還有的已經超過 NBA 球星的平均薪水（2017 年數據：平均 800 萬美金）。所以，對有意嘗試或導入 AI 的企業來講，「讓機器學習得以自動化」具備很大的吸引力。

深度學習技術每每比較複雜，從頭開發的難度較大，有一些公司提供了能幫助開發者輕鬆使用深度學習的自動化深度學習（ADL）平臺，好比微軟的 CustomVision.AI、谷歌的 Cloud AutoML，國內諸如第四範式、智鈾科技等公司也推出了 AutoML 平臺。做爲 AI 前線 AutoML 專題文章的第一篇，本文將重點介紹谷歌的 Cloud AutoML。

谷歌 Cloud AutoML

概況

AutoML 的概念源自 2012 年學術界提出一個新觀念——Programming by Optimization（PbO），字面上的意思是指以最優化程序開發，乍聽之下彷佛看不出個因此然，這倒是一個至關創新的觀念，實質上就是要解決編程時人工調校參數的問題。

今年 1 月，谷歌發佈了 Cloud AutoML。北京時間 1 月 18 日凌晨時分，李飛飛連發三條推特，發佈了谷歌最新 AI 產品——Cloud AutoML Vision，「無需精通機器學習，每一個人都能用這款 AI 產品定製機器學習模型。」

連接：https://cloud.google.com/automl

AutoML Vision 是 Cloud AutoML 這個大項目推出的第一項服務，提供自定義圖像識別系統自動開發服務。根據谷歌介紹，即便是沒有機器學習專業知識的的小白，只需瞭解模型基本概念，就能借這項服務輕鬆搭建定製化的圖像識別模型。 只需在系統中上傳本身的標籤數據，就能獲得一個訓練好的機器學習模型。整個過程，從導入數據到標記到模型訓練，均可以經過拖放式界面完成。

除了圖像識別，谷歌將來還計劃將 AutoML 服務拓展到翻譯、視頻和天然語言處理等領域。

解析

Google Cloud AutoML 服務使用了三個核心技術，分別是：神經架構搜索技術（Neural Architecture Search Technology）、 learning2learn 以及遷移學習 (transfer learning) 。

經過這些技術把參數以及結構的調整交給機器。運做的概念是機器利用神經架構搜索技術不斷測試，找出一個好的參數＋神經網絡結構的組合，AI 開發人員以爲這個組合不錯，承認了以後，機器就會記住，下一次就會作得更快更精準，這就是 learning2learn；或是能夠將此組合轉移到另外的應用場景下使用，這就是遷移學習。

AutoML 神經架構

一般來講，機器學習模型是由工程師和科學家小組精心設計的。手動設計機器學習模型的過程是很困難的，由於全部可能的模型的搜索空間能夠組合地大，典型的 10 層網絡通常具備 10^10 個候選網絡。出於這個緣由，設計網絡的過程每每須要大量的時間和具備重要機器學習專業知識的人進行實驗。

GoogleNet 架構。這個網絡的設計須要從卷積體系結構的初始版本進行多年的仔細實驗和改進。

爲了使機器學習模型的設計過程更容易得到，谷歌一直在探索使機器學習模型的設計自動化的方法。在他們研究的許多算法中，演化算法和強化學習算法表現出了很大的但願。

在谷歌內部被稱爲 Auto ML 的方法中，一個控制器神經網絡能夠提出一個「子」模型架構，而後能夠在特定任務中對其進行訓練和評估質量。以後，這種反饋被用來通知控制器如何改進其下一輪提案。通過數千次的重複，新的體系結構生成了。最終，控制器學習爲空間區域分配高可能性，以在保持出來的驗證數據集上實現更高的準確性，而且對建築空間區域得分較低的區域的可能性低。如下是這一過程的樣子：

這種方法已經被谷歌應用於深度學習中的兩個高度基準測試數據集：使用 CIFAR-10 進行圖像識別以及使用 Penn Treebank 進行語言建模。在這兩個數據集上，該方法能夠設計出與機器學習專家設計的最早進模型相媲美的模型。

那麼，它會產生什麼樣的神經網絡？舉一個例子：通過訓練的常常性架構能夠預測 Penn Treebank 數據集中的下一個單詞。這裏左邊是由專家設計的神經網絡。右邊是上述方法建立的常常性架構：

機器選擇的體系結構確實與人體設計共享一些共同特徵，例如使用加法將輸入和之前的隱藏狀態組合在一塊兒。可是，有一些值得注意的新元素 ：例如，機器選擇的體系結構包含乘法組合（右圖中最左邊的藍色節點，標記爲「 elem_mult 」）。這種類型的組合對於常常性網絡並不常見，這多是由於研究人員沒有看到明顯的好處。有趣的是，這種方法最簡單的形式最近由人類設計師提出，他們也認爲這種乘法組合能夠實際上減輕梯度消失 / 爆炸問題，這代表機器選擇的架構可以發現一種有用的新型神經網絡架構。

這種方法也能夠證實爲何某些類型的神經網絡工做得很好。這裏右邊的架構有不少通道，因此梯度能夠倒退，這可能有助於解釋爲何 LSTM RNN 比標準 RNN 更好地工做。

遷移學習

遷移學習 (Transfer learning) 顧名思義就是就是把已學訓練好的模型參數遷移到新的模型來幫助新模型訓練。

考慮到大部分數據或任務是存在相關性的，因此經過遷移學習能夠將已經學到的模型參數（也可理解爲模型學到的知識）經過某種方式來分享給新模型從而加快並優化模型的學習效率不用像大多數網絡那樣從零學習（starting from scratch，tabula rasa）。

Cloud AutoML 經過遷移學習（Transfer Learning）將已訓練完成的模型，轉移到新的模型訓練過程。這樣，可以用較少許數據訓練出機器學習模型。對於醫療領域而言，這點尤其重要，由於在爲罕見疾病和一些特殊案例建模時，每每沒法取得足夠的訓練數據。

Learning2learn

Cloud AutoML 經過 learning2learn 功能自動挑選適合的模型，搭配超參數調整技術（Hyperparameter tuning technologies）自動調整參數。

AutoML 面臨的挑戰

谷歌人工智能部門的掌門人 Jeff Dean 對 Auto ML 的出現感到興奮，由於它幫助 Google「自動解決問題」，但對 AutoML 的使用也提出了獨特的問題。

Dean 表示：「因爲咱們使用的是比傳統手工編碼軟件更多的系統，我認爲這給咱們帶來了不少挑戰，咱們正在處理這些問題。若是你從數據中學習而且數據已經對它作出了誤差決定，那麼學習的機器學習模型自己會使這些偏見永久化。因此咱們正在作不少工做，同機器學習社區中的其餘人一塊兒，努力研究如何培訓沒有偏見形式的機器學習模型。」

另外一個挑戰：如何使用 AutoML 正確設計安全關鍵系統，爲醫療保健等行業建立 AI。已經創建了數十年的計算機科學最佳實踐，以便對這些系統進行手工編碼，機器製造機器也必須執行相同的步驟。

Dean 表示：在分類狗的種類時發現錯誤是一回事，可是在安全關鍵系統中犯下錯誤徹底是另外一回事。他說：「我認爲這對咱們來講是一個很是有意義且重要的應用方向，特別是當咱們開始在更安全的關鍵系統中進行機器學習，好比對醫療保健或自動駕駛汽車進行決策。」

除了谷歌自家大佬提出的一些問題，其餘專家也都對 AutoML 發表過見解。

一位不肯透露姓名的技術專家告訴 AI 前線，Cloud AutoML 目前推出的第一項服務是針對 Vision 的，ImageNet 數據集夠好夠大，因此大多狀況下確實可以遷移出不錯的效果，並且視覺如今屬於比較好作的領域了，若是是 NLP、CTR 這些領域，則要難不少。你們如今有點「谷歌作的確定都是好的」的心理，不得不說谷歌 PR 能力確實厲害。

固然，經過遷移學習實現 AutoML 這件事情自己確實給了從業者很大的想象空間，能夠打破數據孤島，更低成本地解決更多問題，好比用電商的數據去作傳統行業的推薦，或者一個新公司沒有數據但能夠用其餘公司或行業數據來作事情。

谷歌介紹稱 AutoML Vision 提供了簡潔的圖形化用戶界面，只需導入數據和拖拽組件就能打造全新模型，更有媒體報道直接突出「無需寫一行代碼」，那麼真的能夠不用寫代碼嗎？這位專家諱莫如深地告訴 AI 前線：「不寫代碼容易作，不寫代碼能作出好結果難呀。」

What`s Next？

對於整個 AI 領域來講，AutoML 必定是下一個時代發展重點，而且極有多是機器學習的「大殺器」。可是，對於大多數企業來講，哪怕是谷歌這樣的大廠，AutoML 仍然是一個新興的領域，全部人都在摸索，誰能先人一步搶佔技術先機就顯得尤其重要。

然而在前不久舉辦的谷歌 I/O 開發者大會上，除了 Jeff Dean 偶爾提到了 AutoML 之外，並無任何的專題演講來對 AutoML 的進展進行講述，更是讓人感受到這一新型技術的神祕和巨大潛力。

除了谷歌，在國際上如微軟這樣的大廠也已入局，本系列以後的文章也會提到。固然，各位讀者可千萬不要覺得 AutoML 這樣的服務只有國外用戶才能享受到，在國內，也有一批公司推出了自家的 AutoML 平臺，使人驚喜的是，它們當中有至關一部分是初創公司，在本系列中，咱們還會介紹幾個國產的 AutoML 平臺，請拭目以待！

參考連接

http://developers.googleblog.cn/2017/11/automl.html

https://zhuanlan.zhihu.com/p/27792859

https://www.datasciencecentral.com/profiles/blogs/automated-deep-learning-so-simple-anyone-can-do-it

http://www.mittrchina.com/news/1582

https://www.zhihu.com/question/41979241/answer/123545914

https://www.jianshu.com/p/1430dcc71d15

更多幹貨內容請關注微信公衆號「AI 前線」，（ID：ai-front）