準確率已成過去式，AI人工智能領域的這些趨勢在2020年更受關注

做者 | 機器之心
來源 | ID: almosthuman2014

人工智能不是將要改變世界，而是正在改變世界。在新年以及新的十年開啓之際，VentureBeat 採訪了人工智能領域最傑出的頭腦，來回顧人工智能在 2019 年的進展，展望機器學習在 2020 年的前景。受訪者包括 PyTorch 之父 Soumith Chintala、加州大學教授 Celeste Kidd、谷歌 AI 負責人 Jeff Dean、英偉達機器學習研究負責人 Anima Anandkumar，以及 IBM 研究主管 Dario Gil。

其中部分人預測半監督學習和神經符號方法等子領域將出現進展，而幾乎全部受訪者一致認同 2019 年基於 Transformer 的天然語言模型取得巨大進步，也都認爲對人臉識別等爭議性技術的討論仍會持續。此外，他們還指望 AI 領域再也不只以準確率論輸贏。

PyTorch 之父 Soumith Chintala

PyTorch 負責人、首席工程師和創造者 Soumith Chintala

不論用哪一種衡量方式，PyTorch 都是如今全世界最流行的機器學習框架。PyTorch 是基於 2002 年發佈的 Torch 開源框架的衍生，於 2016 年發佈初始版本，目前其擴展和庫均穩步增加。

在 2019 年秋季舉辦的 PyTorch 開發者大會上，Facebook 發佈了 PyTorch 1.3 版本，該版本支持量化和 TPU 支持。會上還發布了深度學習可解釋性工具 Captum 和 PyTorch Mobile。此外，還有機器人框架 PyRobot 和代碼共享神器 PyTorch Hub，鼓勵機器學習從業者擁抱可復現性。

在此次 PyTorch 開發者大會上，Chintala 表示：2019 年機器學習領域幾乎沒有突破性進展。

「我認爲，自 Transformer 以後，基本上沒有什麼突破。2012 年 CNN 在 ImageNet 大賽上奪冠，迎來了高光時刻，2017 年是 Transformer。這是個人我的見解。」他說。

他認爲 DeepMind 的 AlphaGo 對強化學習的貢獻是突破性的，但其結果很難在現實世界的實際任務中實現。

Chintala 還認爲，PyTorch 和 TensorFlow 等機器學習框架的演化改變了研究者探索新思路和作研究的方式。「這些框架使研究者的速度比以前快了一兩個數量級，從這個角度看，這是一項巨大突破。」

2019 年，谷歌和 Facebook 的開源框架都引入了量化，用於提高模型訓練速度。Chintala 預測，2020 年 PyTorch 的 JIT 編譯器和神經網絡硬件加速器（如 Glow）等工具的重要性和採用範圍將迎來「爆發」。

「從 PyTorch 和 TensorFlow 中，能夠看到框架的融合趨勢。量化以及大量其餘較低級功能出現的緣由是，框架之爭的下一戰是編譯器——XLA（TensorFlow）、TVM（陳天奇團隊）、Glow（PyTorch），大量創新即將出現。將來幾年，大家會看到如何更智能地量化、更好地融合、更高效地使用 GPU，以及如何針對新硬件執行自動編譯。」

和本文大多數受訪者同樣，Chintala 預測 2020 年 AI 社區將用更多度量指標衡量 AI 模型的性能，而不只僅是準確率。社區將注意力轉向其餘因素，如建立模型所需的電量、如何向人類解釋輸出結果，以及如何使 AI 更好地反映人類想要構建的社會。

「回望過去五六年，咱們只關注準確率和原始數據，例如『英偉達的模型更準確，仍是 Facebook 的模型更準確？』我認爲，2020 年咱們將（以更復雜的方式）思考，若是模型不具有良好的可解釋性（或知足其餘標準），那就算準確率高出 3% 又怎樣呢？」Chintala 表示。

加州大學教授 Celeste Kidd

加州大學伯克利分校發展心理學家 Celeste Kidd。

Celeste Kidd 是加州大學伯克利分校 Kidd 實驗室的主管，她和她的團隊致力於探索兒童的學習方式。他們的看法能夠幫助那些嘗試以相似於培養兒童的方式訓練模型的神經網絡建立者。

Kidd 表示：「人類嬰兒不須要標註數據集，但他們也能學習得很好。這其中的關鍵在於咱們須要理解這其中的原理。」

她認爲，當你對嬰兒的行爲綜合分析後，你確實會看到他們理解一些事物的證據，可是他們並不是完美的學習者。「嬰兒能自動學習不少東西」這種說法是對嬰兒能力的過分美化。

「嬰兒很棒，但他們也會出不少錯。我看到人們隨意地進行對比，將嬰兒的行爲理想化了。我認爲人們將會更加劇視如何將當前的研究和將來的研究目標之間的聯繫」

在 AI 領域，「黑箱」一詞已誕生多年，該詞經常使用於批評神經網絡缺少可解釋性。但 Kidd 認爲，在 2020 年，可能不會再有這種對神經網絡的認識了。

「黑箱這個觀點是虛假的……大腦也是黑箱，而咱們在瞭解大腦工做原理方面已經得到巨大進展。」

在爲「黑箱」理論祛魅的過程當中，Kidd 閱讀了 MIT-IBM Watson AI 實驗室執行主任 Aude Oliva 的研究。

「咱們當時討論過這件事。我以前認爲系統是黑箱，她批評了我，說固然不是黑箱。你固然能夠將它分割開來，查看其工做方式，並運行實驗，就像咱們在瞭解認知過程時所作的實驗那樣。」

上個月，Kidd 在 NeurIPS 2019 開幕式上發表主旨演講。她的演講主要涉及人類大腦如何堅持己見、注意力系統以及貝葉斯統計。

她注意到了內容推薦系統如何操縱人類的想法。追求讓用戶最大程度參與的系統對人類如何造成想法和觀點有着重大影響。

2020 年，她但願看到更多人意識到技術工具和技術決策對現實生活的影響，拒絕「工具創造者不對工具使用者的行爲和後果負責」的觀點。

「我聽到太多人用『我不是衛道士』這樣的說辭自我辯護。我認爲必須有更多人意識到這是不誠實的。」

「做爲社會一員，尤爲是做爲研發這些工具的人，咱們須要直接正視隨之而來的責任。」

谷歌 AI 負責人 Jeff Dean

谷歌 AI 負責人 Jeff Dean

Jeff Dean 在谷歌工做了二十年，現已領導谷歌 AI 近兩年，他是谷歌早期不少搜索和分佈式網絡算法的設計師，谷歌大腦的早期成員。

Jeff Dean 在 NeurIPS 2019 會議上發表了兩場演講，這兩場演講分別關於使用機器學習設計 ASIC 半導體（ML for Systems）和 AI 社區幫助解決氣候變化的方法（Tackling Climate Change with ML）。他認爲後者是這個時代最重要的問題之一。在關於氣候變化的演講裏，Dean 討論了 AI 怎樣可以成爲零碳產業的方法，以及使用 AI 幫助改變人類的行爲。

談到對 2020 年的期待，Dean 表示，他但願看到多模型學習領域的進展。在這一領域中，多模態學習依賴多媒體數據進行訓練，而多任務學習則讓網絡經過訓練一次就能夠完成多項任務。

毫無疑問，2019 年最顯著的機器學習趨勢之一是：基於 Transformer 的天然語言模型的發展和壯大（上文中 Chintala 也認爲這是 AI 領域近年來的最大突破之一）。在 2018 年，谷歌開源了基於 Transformer 的模型 BERT。而 2019 年大量頂級性能的模型（如谷歌的 XLNet、微軟的 MT-DNN、Facebook 的 RoBERTa）都基於 Transformer 構建。並且，谷歌發言人還告訴 VentureBeat，XLNet 2 將於本月底發佈。

Jeff Dean 在談到 Transformer 進展時表示，「基於 Transformer 實際得到的機器學習模型能夠執行比以前更復雜的 NLP 任務，從這個角度看，這個領域的研究碩果累累。」可是他補充道，該領域仍有發展空間。「咱們仍是但願可以使模型更多地理解語境。如今 BERT 等模型能夠很好地處理數百個單詞的語境，但若是語境包含 10000 個單詞就不行了。這是一個有趣的研究方向。」

Dean 表示他但願社區更少去強調微小的 SOTA 進展，而是多關注如何建立更穩健的模型。

谷歌 AI 將推動新計劃，如 2019 年 11 月開啓的內部項目「Everyday Robot」，該項目旨在創造在家庭和工做環境中完成常見任務的機器人。

英偉達機器學習研究負責人 Anima Anandkumar

英偉達機器學習研究負責人 Anima Anandkumar

英偉達的 AI 研究圍繞多個領域展開，從針對醫療領域的聯邦學習到自動駕駛、超級計算機、顯卡不一而足。

2019 年，在英偉達負責機器學習工做的 Anandkumar 的重點之一是強化學習模擬框架。目前這樣的框架愈來愈流行，也更加成熟。

2019 年，咱們看到英偉達開發了自動駕駛平臺 Drive 和機器人模擬器 Isaac，以及基於模擬生成合成數據的模型和 GAN。

例如，去年 StyleGAN 和 GauGAN 等 AI 模型大出風頭。而在上個月，英偉達還發布了 StyleGAN2。

這其中使用的即是 GAN 這一神經網絡。這是一項能「混淆現實和虛擬界限」的技術，Anandkumar 認爲該技術可以幫助解決 AI 社區面臨的難題，如抓握式機器臂和自動駕駛。

Anandkumar 預測，2020 年迭代算法（iterative algorithm）、自監督和自訓練方法將有新的進展。所謂自訓練，指的是模型使用無監督數據，經過自我訓練獲得改進。

「我認爲迭代算法就是將來，由於若是你只作一個前饋網絡，它的穩健性多是個問題。而若是你嘗試進行屢次迭代——基於數據類型或準確率要求來調試迭代，那麼達到目標的可能性就會大大增長。」

Anandkumar 認爲，2020 年 AI 社區將面臨多項挑戰，好比說，AI 社區須要和領域專家合做爲特定行業建立模型。政策制定者、我的和 AI 社區還須要處理特徵表示上的問題，並確保模型訓練所用數據集可以表明不一樣羣體。

「我認爲人臉識別存在的問題是容易被發現的，可是，在不少領域中，人們尚未意識到數據的使用會涉及隱私問題。」Anandkumar 表示，人臉識別獲得的關注最多，這是由於人們很容易理解人臉識別如何損害我的隱私，而 2020 年 AI 社區將面臨更多倫理問題。

「咱們須要更加審慎地審查數據收集和使用過程。歐洲正在這樣作，但在美國更應該如此。出於正當理由，美國國家運輸安全委員會（NTSB）和聯邦公共交通管理局（FTA）等組織將更多地執行此類操做。」

Anandkumar』s 認爲，2019 年的一大驚喜是文本生成模型的日新月異。

「2019 是語言模型之年，不是嗎？如今，咱們第一次獲得了更連貫的文本生成結果，且其長度至關於整個段落，這在以前毫不可能，這很是棒。」

2019 年 8 月，英偉達發佈了 Megatron 天然語言模型。該模型具有 80 億參數，被認爲是全球最大的 Transformer 模型。Anandkumar 表示，她被人們開始按模型是否具有人格或個性進行分類的方式震驚到了。她期待看到更加適用於特定行業的文本模型。

「咱們仍然沒有到達交互式對話生成階段。在這個階段中，咱們能夠追蹤和進行天然對話。我認爲 2020 年這一方向會有更多嘗試。」

開發控制文本生成的框架比開發圖像識別框架難度更大。並且文本生成模型會遇到爲神經模型定義事實等方面的挑戰。

IBM 研究主管 Dario Gil

IBM 研究主管 Dario Gil

Dario Gil 帶領的研究者團隊爲白宮和全球企業提供積極指導。他認爲，2019 年機器學習領域的重要進展包括生成模型和語言模型的進步。

他預測，使用較低精度架構更高效地訓練模型方面會有持續進展。開發更高效的 AI 模型是 NeurIPS 的重點，IBM Research 在會上介紹了使用 8-bit 精度模型的深度學習技術。

「整體上，使用現有硬件和 GPU 架構訓練深度神經網絡的方式仍然是低效的。所以，從根本上從新思考很是重要。咱們已經提高了 AI 的計算效率，咱們還將作得更多。」

Gil 引用研究表示，機器學習訓練的需求每三個半月翻一番，比摩爾定律預測的要快得多。

Gil 對 AI 加速推進科學新發現感到很振奮，但他表示，IBM 研究院的研究重點將是神經符號方法。

2020 年，Gil 但願 AI 從業者和研究者可以關注準確率之外的度量指標，考慮在生產環境中部署模型的價值。AI 領域轉向構建受信任的系統，而不是準確率至上，這將是 AI 獲得繼續採用的關鍵。

「社區中有些人可能會說『不要擔憂，只須要提升準確率。人們會習慣黑箱這件事的。』，或者他們認爲人類有時作決策時也不給出解釋啊。我認爲將社區的智力聚焦於比準確率更好的事情是很是很是重要的。在任務關鍵型應用中，AI 系統不能是黑箱。」

AI 只有少數機器學習奇才能作，具有數據科學和軟件工程技能的更多人只用使用它就好了。Gil 認爲這種認知應該摒棄。

「若是咱們讓 AI 保持神祕，只有該領域的 PhD 才能研究，這對 AI 的應用沒有好處。」

2020 年，Gil 對神經符號 AI 尤爲感興趣。IBM 將尋找神經符號方法爲機率編程（讓 AI 學習如何編程）和可以分享決策背後緣由的模型等賦能。

「採用神經符號方法，可以將學習和推理結合起來，即符號維度嵌入到學習程序中。經過這種方式，咱們已經證實可以使用所需數據的一部分進行學習。由於你學習了程序，你的最終輸出是可解釋的，由於有了這些可解釋的輸出，系統就更加可信。」

公平性、數據完整性和數據集選擇問題還是關注的重點。一樣，和生物識別技術相關的領域也是如此。人臉識別得到了巨大關注，這只是個開始。隨着語音數據的敏感度上升，其餘形式的生物識別特徵也會日益受到關注。

「和人類身份和生物識別特徵有關的工做，以及使用 AI 分析這些信息依然是研究中的核心問題。」

除了 MIT-IBM Watson 實驗室的主要項目——神經符號和常識推理之外，Gil 表示 2020 年 IBM 研究院還將探索用於 AI 的量子計算，以及較低精度架構之外的 AI 模擬硬件。

總結

機器學習將繼續塑造商業和社會，本文采訪的這些研究者和專家發現了以下趨勢：

• 神經語言模型的進展是 2019 年的重大事件，Transformer 是其背後的巨大助力。2020 年會出現更多 BERT 變體和基於 Transformer 的模型。
• AI 行業應該尋找準確率之外的模型輸出度量指標。
• 2020 年，半監督學習、神經符號等方法和多任務學習、多模態學習等子領域可能出現進展。
• 和生物識別數據（如語音記錄）相關的倫理挑戰可能繼續成爲爭議焦點。
• 編譯器和量化等方法可能在 PyTorch 和 TensorFlow 等機器學習框架中更加流行，以做爲優化模型性能的方式。