深度學習將來的可能發展方向

做者：ThoughtWorks中國
連接：https://www.zhihu.com/question/47602063/answer/197576134
來源：知乎
著做權歸做者全部。商業轉載請聯繫做者得到受權，非商業轉載請註明出處。
 

方向1：多功能神經網絡

儘管深度學習已經讓神經網絡具有了很大的靈活性，然而深度學習目前還只能作到一個神經網絡解決一個問題。好比訓練一個神經網絡要麼只能識別圖片，要麼只能識別語音，不能同時識別。好比，咱們能夠給一個神經網絡看一張圖片，神經網絡能夠識別到圖片中是貓仍是狗；咱們也能夠給另外一個神經網絡聽一段聲音，這個神經網絡能夠識別出是聲音中是貓仍是狗的叫聲；可是，如今尚未一個神經網絡，既能經過視覺識別物體，還能經過聽覺識別物體。儘管藉助多任務學習（Multi-task learning）技術，神經網絡能夠在識別圖片類別的同時，識別輪廓、姿態、陰影、文字等等相關的內容，相比咱們人類多才多藝的大腦，如今的深度神經網絡能夠說是很是低能。

目前若是須要一個應用支持不一樣的能力，必須組合使用多個神經網絡，這不只對於計算資源是巨大的消耗，不一樣神經網絡之間也難以造成有效的互動，好比圖片中的狗、聲音中的狗和一段文字中出現的狗，在各自的神經網絡中都有不一樣的表示方式。而對於人類來講，這些其實都是同一個概念。

如何讓神經網絡可以同時實現多個目標，目前科學家們也都尚未答案，不過從人類大腦獲得的啓示是，經過某種方式，將負責不一樣功能的神經網絡鏈接起來，組成更大的神經網絡，也許能夠解決這個問題。Google在ICLR 2017上的一篇論文，經過一個係數門矩陣將多個子網絡鏈接起來，是在這個方向上的一個有趣嘗試。

方向2：終極算法

Pedro Domingos教授在《The Master Algorithm》一書中回顧了機器學習的5大流派：符號主義、鏈接主義、進化主義、貝葉斯主義、分析主義。這5類機器學習算法並無絕對的優劣，不一樣的算法適用於不一樣的場景和問題。好比以神經網絡爲主的鏈接主義算法，對於視覺、聽覺這類感知問題，具備更好的效果，可是卻不擅長邏輯推理。而邏輯推理恰好是符號主義算法所擅長的。書中提出了一種終極算法，可以結合這五種主流機器學習，能夠適用於更大範圍的問題域。

深度學習正是鏈接主義發展而來，不過深度學習提供了可擴展性很是強的框架，以深度學習爲基礎，頗有但願將其餘幾類機器學習算法融入進來。OpenAI在進行深度強化學習的實驗過程當中發現，使用進化主義的遺傳算法替代經典的反向傳播（BP）算法，模型能夠更快的收斂，性能也更好；Google基於TensorFlow框架開發的機率編程工具庫Edward，證實了機率圖和神經網絡能夠無縫的結合在一塊兒。

從目前的趨勢看來，終極算法很是有但願。不過，事情不會老是這麼順利。當年物理學家們但願尋找大統一理論來結合天然界四種基本力，電磁力、強核力、弱核力很快就結合到一個模型中，然而最後引力卻怎麼都找不到結合的辦法。當咱們找到終極算法的時候，通用人工智能（Artificial General Intelligence）就離咱們不遠了。

方向3：更少的人工干預

深度學習讓機器學習再也不依賴於科學家尋找特徵，但調試深度神經網絡依然須要不少人工的工做，其中最主要的就是調參。這裏所說的調參，不是調節神經網絡的每一個神經元的參數，而是指調試超參數。超參數是用來控制神經網絡的描述性參數，好比，神經網絡的層數、每一層的神經元個數、學習率（Learning Rate）的大小、訓練時間的長短等等。這些參數的微小差別，會給最終模型帶來巨大的性能差別，而這部分工做大多須要靠經驗完成，很難總結出有效的最佳實踐。

然而這一情況在將來將會有所改善。既然神經網絡能夠用於學習參數，就應該能夠學習超參數。DeepMind提出的Learning to Learn算法，使用神經網絡來學習和調整學習率，可讓神經網絡更快的收斂到理想的精度。正所謂，授人以魚不如授人以漁。