第3章 深度學習是個什麼東西

第3章 深度學習是個什麼東西
1.深度神經網絡說的是一種結構，而不是一種算法。
2.機器學習是人工智能的一個分支。
3.機器學習就是經過算法，使得機器能從大量歷史數據中學習規律，從而對新的樣本作智能識別或對將來作預測。
4.非監督學習算法：Apriori算法和K-Means算法
5.人工神經網絡和深度學習都屬於機器學習的一種，深度學習是神經網絡的一個大分支，深度學習的基本結構是深度神經網絡。
監督學習和非監督學習是指機器學習的學習方式。
6.人類視覺系統的信息處理是分級的。
7.高層的特徵是底層特徵的組合，從底層到高層的特徵表示愈來愈抽象，愈來愈能表現語義或者意圖。
8.淺層特徵和高級特徵解釋：一棟房子，磚能夠理解成淺層特徵，最後造成的房子結構理解成高級特徵。
9.詞，詞組，句子之間的關係，句子由詞組組成，詞組由此詞組成。
10.結構性的特徵具備明顯的層級概念，從較小的粒度劃分，再用劃分的基本特徵組成上層特徵。
1.非監督學習被用來訓練各個層。
2.非監督學習在以前學習到的層次之上，一次只學習一個層次，每一個層次學習到的結果將做爲下一個層次的輸入。
3.能夠用監督學習來調整層與層之間的權重。
4.傳統的神經網絡通常只有兩層至三層的神經網絡，參數和計算單元有限，對複雜函數的表示能力有限，學習能力也有限；
深度學習具備五層十層，甚至更多的神經網絡，而且引入了更有效的算法。深度網絡這種分層結構，比較接近人類大腦的結構。
5.梯度消失（梯度擴散）：根源在於非凸目標函數致使求解陷入局部最優，且這種狀況隨着網絡層數的增長而增長。
6.自動地學習特徵的方法，統稱爲深度學習。深度學習首先利用無監督學習對每一層進行逐層預訓練去學習特徵；每次單獨訓練一層，並將訓練結果做爲更高一層的輸入；而後到最上層改用監督學習從上到下進行微調去學習模型。

7.BP算法的核心是：反向傳播，修正權值。