論文閱讀（2013-1）----深度學習的昨天，今天和明天

　　這是針對當下比較熱門的深度學習（DL）的一篇綜述。機器學習是人工只能領域的一個重要學科。

　　什麼是機器學習？機器學習就是經過算法，使得機器能從大量歷史數據中學習規律，從而對新的樣本作出智能識別或者對將來作出預測。

　　機器學習的兩次浪潮

　　（1）淺層學習。1980年代，反向傳播算法（BP）的發明，給機器學習帶來了但願，掀起了基於統計的機器學習浪潮，這種基於統計的機器學習方法對過去基於人工規則的系統，在不少方面具備優越性。1990年代，各類各樣的淺層機器學習模型相繼被提出。好比支持向量機，Boosting，最大熵等，這些模型能夠當作帶有一層隱層節點（SVM，Boosting）或沒有隱層節點（LR）。2000年以來，互聯網飛速發展，對大數據的智能分析和預測提出了巨大需求，淺層學習模型取得了巨大成功，成功的應用好比搜索廣告系統的廣告點擊率預估，網頁搜索排序，垃圾郵件過濾，推薦系統等。

　　（2）深度學習。2006年多倫多教授Hinton在《科學》上發表一篇文章，開啓深度學習的在學術界和工業界的浪潮，核心內容包括：a）不少隱層人工神經網絡具備優異的特徵學習能力，學習到的特徵對數據有更本質的刻畫能力。b）深度神經網絡訓練上的難度，能夠經過逐層初始化來有效克服。

　　大數據與深度學習

　　（1）在不少大師據應用中，最簡單的線性模型獲得大量使用，若是運用深度學習，可能挖掘更多有價值的東西。

　　（2）淺層模型的一個重要特色是，靠人工經驗來抽取樣本的特徵，強調模型負責分類與預測。特徵好壞決定了整個系統的瓶頸。

　　（3）深度學習的實質，是經過構建具備不少隱層的機器學習模型和海量的訓練數據，來學習更有用的特徵，從而提高分類和預測的準確性。

　　深度學習的應用

　　（1）語音識別。語音識別長久以來，大部分採用混合高斯模型（GMM）。適合海量數據訓練，可是這種模型本質也是淺層網絡建模，不可以描述特徵的狀態空間分佈，不鞥你充分描述特徵之間的相關性。同時是回憶中最大似然機率建模。

　　（2）圖像識別。

　　（3）天然語言處理。

　　（4）搜索廣告CTR預估。

 

　　附笑話一則：論文導師給了個公共郵箱。。。說密碼是：我生日。。。底下全體暈死。。。老師特不屑的說，我生日大家都不知道。。。而後寫下：woshengri......