資源 | 多倫多大學「神經網絡與機器學習導論」2017年課程表

翻譯 | AI科技大本營（rgznai100）

Hinton大神獨步天下的人工智能課程——多倫多大學「神經網絡與機器學習導論」，2017年課程表上線了。

你可能沒學過這門課，但瞭解機器學習的你必定有聽過這門課的大名。今年冬季學期，這門課將交由多倫多大學助理教授Roger Grosse主講。

若是你還不知道這位教授，請必定要了解一下他在Google Brain實習的本科學生Aidan Gomez，AI100對此作過專門報道：牛！他本科沒畢業就進入Google Brain，還發表了最火的深度學習頂級論文... 你呢？

閒話少說，咱們直接來看 CSC321 "Intro to Neural Networks and Machine Learning" 的課程表：

http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/

第1課：導論

• 什麼是機器學習，什麼是神經網絡，它們可以作什麼？

• 監督式學習、非監督式學習、以及強化學習呢？

• 本課程的組織安排。

第2課：線性迴歸

• 線性迴歸，一種監督式學習模型，經過它你能夠預測獲得一個目標值。

• 以最優化問題的形式呈現它，而且經過直接求解方程或者梯度降低算法進行求解。

• 向量。特徵映射和多項式迴歸。泛化：過擬合、欠擬合、驗證。

第3課：線性分類

• 二元線性分類。線性分類器可視化。感知器算法。線性分類器的侷限性。

第4課：分類器學習

• 二元分類器損失函數比較。

• 交叉熵損失、Logistic激活函數、Logistic迴歸。

• Hinge 損失。多向分類。凸損失函數。梯度檢驗。

第5課：多層感知機

• 多層感知機。激活函數比較。

• 把深度神經網絡視爲函數和特徵學習。

• 線性神經網絡的侷限性和非線性網絡的普適性。

第6課：反向傳播算法

• 反向傳播算法，一種用於計算梯度的方式，在整個課程中咱們都會用到它。

第7課：優化

• 如何使用反向傳播算法獲得的梯度。

• 損失函數特徵：局部最優解，鞍點，平頂，低谷。

• 隨機梯度降低算法和momentum算法。

第8課：自動微分法

• 由助理教授David Duvenaud授課

第9課：泛化

• 誤差/方差分解，數據加強，限制模型複雜度，提起結束，權重衰減，集成算法，隨機正則化，超參數優化。

第10課：分佈式表徵

• 語言模型，n-gram模型，神經網絡語言模型（一種分佈式表徵），skip-grams （另外一種分佈式表徵）

第11課：卷積神經網絡

• 卷積操做。卷積層和池化層。等變異數和不變性。

• 卷積神經網絡的反向傳播算法規則。

第12課：圖像分類

• 卷積神經網絡架構在手寫數字和物體分類方面的應用。

• 卷積神經網絡大小的測量。

第13課：玩轉卷積網絡

• 卷積神經網絡可視化：導向型反向傳播算法，輸入數據梯度降低。

• Deep Dream。神經網絡風格遷移。

第14課：遞歸神經網絡

• 遞歸神經網絡。時間軸上的反向傳播。

• 遞歸神經網絡在語言模型和機器翻譯中的應用。

第15課：梯度爆炸和消失

• 爲何遞歸神經網絡梯度會爆炸或者消失，從兩個角度進行分析：第一，反向傳播機制；第二，遞歸神經網絡計算的函數。

• 對應的措施：梯度裁剪、輸入反轉、LSTM

第16課：ResNet與Attention

• 深度殘差網絡。

• 基於Attention模型在機器翻譯和字幕生成方面的應用。

• 神經網絡圖靈機。

第17課：學習機率模型

• 最大似然估計。貝葉斯參數估計基礎和最大化後驗估計。

第18課：混合模型

• K-means。混合模型：後驗推斷和參數學習

第19課：玻爾茲曼機

• 玻爾茲曼機：定義；邊緣和條件機率；參數學習。受限玻爾茲曼機。

第20課：自編碼機

• 主成分分析；自編碼機；逐層訓練；將自編碼機應用於文件和圖像的獲取

第21課：貝葉斯超參數優化

• 貝葉斯線性迴歸；貝葉斯優化

第22課：對抗學習

• 對抗學習案例；生成式對抗網絡（GANs）

第23課：圍棋

• 「AlphaGo人機對戰」
  

怎麼樣，看到最後一節AlphaGo有沒有眼前一亮的感受？這就是緊跟技術發展的國外課程，跟國內不同的地方。

固然，若是你仍是懷念Hinton大神的親自講授，你老是能夠找到他的Coursera頁面：https://www.coursera.org/learn/neural-networks