賈揚清：我對人工智能方向的一點淺見

阿里妹導讀：做爲 AI 大神，賈揚清讓人印象深入的多是他寫的AI框架Caffe ，那已是六年前的事了。通過多年的沉澱，成爲「阿里新人」的他，對人工智能又有何見解？最近，賈揚清在阿里內部分享了他的思考與洞察，歡迎共同探討、交流。

賈揚清，浙江上虞人，畢業於清華大學自動化系，在加州大學 Berkeley 分校得到計算機博士學位，目前擔任阿里計算平臺掌門人。

最近幾年深度學習的流行，你們通常認爲是從2012年 AlexNet 在圖像識別領域的成功做爲一個里程碑。AlexNet 提高了整個業界對機器學習的接受程度：之前不少機器學習算法都處在「差很少能作 demo 」的程度，可是 AlexNet 的效果跨過了不少應用的門檻，形成了應用領域井噴式的興趣。

固然，任何事情都不是一蹴而就的，在2012年之前，不少成功的因素已經開始逐漸顯現：2009年的 ImageNet 數據庫奠基了大量標註數據的基礎；2010年開始，IDSIA 的 Dan Ciresan 首次用 GPGPU 進行物體識別；2011年，北京的 ICDAR 大會上，神經網絡在中文離線識別上大放異彩。就算是 AlexNet 中用到的ReLU層，早在2001年神經科學的文獻中就有說起過。因此，必定程度上說，神經網絡的成功也是一個水到渠成的過程。2012年之後的事情，你們能夠讀到不少，這裏就再也不贅述。

成功與侷限

在看待神經網絡成功的同時，咱們也要進一步深挖其背後的理論背景和工程背景，爲何神經網絡和深度學習在幾十年前失敗，可是如今卻成功了？它成功的緣由是什麼？而它的侷限又在什麼地方？咱們這裏只能片面地說幾個重點：

• 成功的緣由，一點是大數據，一點是高性能計算。
• 侷限的緣由，一點是結構化的理解，一點是小數據上的有效學習算法。

大量的數據，好比說移動互聯網的興起，以及 AWS 這樣低成本得到標註數據的平臺，使機器學習算法得以打破數據的限制；因爲 GPGPU 等高性能運算的興起，又使得咱們能夠在能夠控制的時間內（以天爲單位甚至更短）進行 exaflop 級別的計算，從而使得訓練複雜網絡變得可能。要注意的是，高性能計算並不只限於 GPU ，在 CPU 上的大量向量化計算，分佈式計算中的 MPI 抽象，這些都和60年代就開始興起的 HPC 領域的研究成果密不可分。

可是，咱們也要看到深度學習的侷限性。今天，不少深度學習的算法仍是在感知這個層面上造成了突破，能夠從語音、圖像，這些非結構化的數據中進行識別的工做。在面對更加結構化的問題的時候，簡單地套用深度學習算法可能並不能達到很好的效果。有的同窗可能會問爲何 AlphaGo 和 Starcraft 這樣的算法能夠成功， 一方面，深度學習解決了感知的問題，另外一方面，咱們也要看到還有不少傳統的非深度學習算法，好比說 Q-learning 和其餘加強學習的算法，一塊兒支撐起了整個系統。並且，在數據量很是小的時候，深度學習的複雜網絡每每沒法取得很好的效果，可是不少領域，特別是相似醫療這樣的領域，數據是很是難得到的，這多是接下去的一個頗有意義的科研方向。

接下去，深度學習或者更普遍地說，AI 這個方向會怎麼走？我我的的感受，雖然你們前幾年一直關注AI框架，可是近年來框架的同質化說明了它再也不是一個須要花大精力解決的問題，TensorFlow 這樣的框架在工業界的普遍應用，以及各類框架利用 Python 在建模領域的優秀表現，已經能夠幫助咱們解決不少之前須要本身編程實現的問題，所以，做爲 AI 工程師，咱們應該跳出框架的桎梏，往更普遍的領域尋找價值。

挑戰

往上走，咱們會遇到產品和科研的不少新挑戰，好比說：

• 傳統的深度學習應用，好比說語音、圖像等等，應該如何輸出產品和價值？好比說，計算機視覺如今基本仍是停留在安防這個層面上，如何深刻到醫療、傳統工業，甚至社會關愛（如何幫助盲人看見這個世界？）這些領域，是不只須要技術，還須要產品的思考的。
• 除了語音和圖像以外，如何解決更多問題。在阿里和不少互聯網企業中有一個「沉默的大多數」的應用，就是推薦系統：它經常佔據了超過80%甚至90%的機器學習算力，如何將深度學習和傳統推薦系統進一步整合，如何尋找新的模型，如何對搜索和推薦的效果建模，這些可能沒有像語音和圖像那麼爲人所知，倒是公司不可缺乏的技能。
• 即便在科研方向，咱們的挑戰也剛剛開始：Berkeley 的教授 Jitendra Malik 曾經說，「咱們之前是手工調算法，如今是手工調網絡架構，若是囿於這種模式，那人工智能沒法進步」。如何走出手工調參的老路，用智能提高智能，是個很是有意思的問題。最開始的 AutoML 系統依然停留在用大量算力暴力搜索模型結構的層面上，可是如今各類更高效的 AutoML 技術開始產生，這是值得關注的。

機會

往下走，咱們會發現傳統的系統、體系結構等知識，計算機軟件工程的實踐，會給 AI 帶來不少新的機會，好比說：

• 傳統的 AI 框架都是手寫高性能代碼，可是模型如此多變，新的硬件平臺層出不窮，咱們應該如何進一步提高軟件效率？咱們已經看到有經過編譯器技術和傳統的人工智能搜索方法來反過來優化AI框架，好比 Google 的 XLA 和華盛頓大學的 TVM，這些項目雖然處於早期，可是已經展示出它們的潛力。
• 平臺如何提高整合能力。在開源領域，你們的作法是一我的，一臺機器，幾個 GPU ，訓練比較學院派的模型。可是在大規模應用中，咱們的數據量很是大，模型很是複雜，集羣還會出現各類調度的挑戰（能不能一會兒就要求256個 GPU ？計算資源是否能夠彈性調度？），這些對於咱們本身的機器學習平臺，以及雲上向客戶提供的服務，都提出了很是多的挑戰。
• 如何進行軟硬件的協同設計。在深度學習的計算模式開始逐漸固化的時候（好比說 CNN ），新硬件和特殊硬件（好比 ASIC ）的優點就開始體現出來了。如何實現軟硬件的協同設計，防止「硬件出來了，不知道怎麼寫程序」或者「模型已經變了，硬件一出來就過期了」這樣的問題，會是未來幾年中很大的方向。

人工智能是一個突飛猛進的領域，咱們有一個笑話說，2012年的科研成果，如今提及來都已是上古時代的故事了。快速的迭代帶來的大量機遇和挑戰是很是使人興奮的，不管是有經驗的研究者仍是新學 AI 的工程師，在當今雲化，智能化的年代，若是能快速學習並刷新算法和工程的各類挑戰，就能夠經過算法創新引領而且賦能社會各個領域。這方面，人工智能領域開源開放的各類代碼，科研文章和平臺給你們創造了比之前更容易的入門門檻，機遇都掌握在咱們本身手中。

做者：賈揚清

原文連接

本文爲雲棲社區原創內容，未經容許不得轉載。