Deep learning：四十(龍星計劃2013深度學習課程小總結)

 

　　頭腦一熱，坐幾十個小時的硬座北上去天津大學去聽了門4天的深度學習課程，課程預先的計劃內容見：http://cs.tju.edu.cn/web/courseIntro.html。上課老師爲微軟研究院的大牛——鄧力，羣（qq羣介紹見：Deep learning高質量交流羣）裏面有人戲稱鄧力（拼音簡稱DL）老師是天生註定可以在DL（Deep learning）領域有所成就的，它的我的主頁見：http://research.microsoft.com/en-us/people/deng/。此次我花費這麼大的力氣參加這個課程，是指望能達到3個目的的：1、把DL中一些常見基礎算法弄明白，特別是跟能量模型等相關的算法。2、站在更上一層的角度來理解DL，知道下一步該學哪些知識。3、和羣友交流下科研心得，多認識幾個朋友。實踐代表，第二和第三個目的基本達到，但關於第一個有點小失望。

　　下面簡單回憶下鄧老師這4天大概講了些什麼內容（沒作太多筆記，記憶有些模糊）。

　　Day1：其課件主要見Lecture-Slides-DayOne.因爲鄧老師講課時喜歡插入一些他和其它DL大牛（好比Hinton）之間的故事，因此這個課件沒有講完（課件自己內容頁太多），大概講了前面100頁，後面幾天還有很多內容是基於這個課件的。在這一天的課程中，他列出了一些DL研究小組的網頁，並給出了一些常見的學習工具。主要是從語音處理領域介紹DL，Dynamic model，以及二者的結合；具體內容有：DL是分佈式的表示；感知機介紹，SVM其實本質也是感知機；爲何BP算法在90年代末期被扔掉的緣由；比較詳細的介紹了RBM以及RBM的訓練過程，對比了RBM和GMM模型；介紹了DBN模型，以及DBN在生成數據和識別上的使用方法；DNN模型（用generative method pre-training後的深度網絡）；從優化角度和過擬合角度介紹了爲何pre-training會有效果；RBM等價於一個無窮層的DBN；微軟在語音識別領域的歷史進展；DBN（動態貝葉斯模型）在語音處理上的使用；DL和動態貝葉斯的結合。

　　Day2：課件見Lecture-Slides-DayTwo，課件內容很是少。由於這一天放了一天的video，video內容都是coursera上的課程，其中一門課是Hintion的Neural Networks for Machine Learning，另外一門課程是從生物角度介紹神經科學的：Computational Neuroscience。可能每一個人基礎不一樣以及所指望的目的不一樣吧，反正本人對那一天的課程比較失望。由於那些課程都是網上公開的，課件和視頻網上均可以看獲得，而鄧老師卻用了一天的時間在課程上放這些。比較好的方法應該是列出它要放的視頻的重點（幾頁ppt就能夠搞定），而後大體提一下其內容，讓學員回去後對照看便可（比較你們千里迢迢跑來聽課是想多學點東西）。這一天的內容中鄧老師是想從生物神經的角度來推導出DL，由於DL的數學理論太差，這點常常遭他人抨擊。而鄧老師的觀點是，DL實際上是生物神經模型經過N步簡化而來的，具備必定的生物基礎，因此有必定的道理。這就是那一天的主要內容，交叉放生物神經模型和工程神經網絡的視頻教程。據說現場有些搞科研的老師聽完當天的課程後收穫很是大，由於受到鄧老師不少觀點的啓發，有了不少本身新的想法。另外，在次日的課程中，鄧老師比較客觀的介紹了他本身認爲DL可以適用的領域（好比語音，圖像，文本等），以及DL不擅長的領域（好比說Malware detection，movie recommender, speaker/language detection），理由是一些有感知機制的AI比較適合用DL，而一些Data Matching不太適合。

　　Day3：課件雖爲Lecture-Slides-DayThree，可是因爲次日有人反應上課方式和內容不太好，因此把鄧老師的計劃弄亂了，所以這一天的內容是想到哪方面還沒介紹就講哪方面的知識。主要內容好像是CNN；目標識別；dropout；SGD；Hopfield能量模型；RNN的介紹以及一些常見的RNN learning方法，包括long short term memory, Hessian Free optimization, Echo State Network等，主要仍是用Hintion的NN課件。

　　Day4：當天的內容更沒有預先的計劃，像打補丁似的想到哪就講到哪，課件主要用的是第一天沒有講完的內容和hintion的課件，還有一些是ICML2013的一些keynote，好比Vincent Vanhoucke的。主要講的內容有Deep AutoEncoder；DL在IR中的應用，重點講了鄧老師本身提出的模型DSN；DL在NLP領域的應用；DL在語音處理中的acoustic model中的應用。下午的安排主要是鄧老師回答同窗的提問，問題是前一天經過已發郵件給胡老師（胡老師我的主頁：http://cs.tju.edu.cn/faculty/huqinghua/）整理過的，在鄧老師回答這些問題前請科大訊飛和中科院自動化所的人分享了一些Deep learning領域的心得，其中一個報告毫無內容，另外一個沒太聽懂。同窗提的問題比較多，從鄧老師的回答過程當中也收穫了很多。

　　總結：鄧老師仍是至關厲害的，從他上課激動的語言能夠看出，他對DL的將來仍是比較樂觀的，他並非盲目推崇DL，好比他也比較客觀的分析了哪些領域適合DL，哪些領域不適合DL。此次上課雖然沒有收穫太多的DL基本算法細節，可是也知道了後續一段時間若是想繼續DL的，該看哪方面的知識。好比說至少知道了coursera是個很好的自學平臺。另外和羣友一塊兒參加小討論，逛校園，聚餐，整個過程仍是至關愉快的，認識了很多朋友。

　　10號到學校後花了3天多時間把Hition的課程Neural Networks for Machine Learning大概學了一遍。共16節課。感受這個課程仍是比較不錯的（很早之前有看過其中的一節RBM，徹底不知所云，因此第一印象是他的課程很差），有不少工程經驗性的東西在裏面，由於課程主要是從工程角度上講解的，因此若是你對所將內容有過實際項目和實驗經驗的話，收穫會很大。這麼課的基本內容是：從什麼是機器學習，爲何要使用機器學習到怎樣常見的NN算法在機器學習中的應用；從感知機的學習到BP算法；從NN在預測下一個單詞到圖片目標識別的應用；從梯度降低法到常見的NN優化算法；從Hopfield Nets到RNN網絡以及其訓練方法，從模型泛化到模型平均；從BM到RBM以及從RBM到DBN,DBM；從SBN到Week-Sleep算法；從PCA到Deep AutoEncoder；從joint model到Hierachy part model；還有各類DL在語音，圖像，文本上的應用，以及DL的將來都給出了必定的介紹。課程覆蓋的內容至關普遍；相信隨着本身從此具體實踐時回過圖來參考這些課件，會頗有幫助。

　　總的來講說，」北伐」的這幾天，收穫仍是不錯的。感謝龍星計劃和天津大學的組織者，感謝鄧老師這幾天辛苦的付出！