深度學習基礎知識入門及案例代碼實戰-深度學習牛刀小試

版權聲明：本套技術專欄是做者（秦凱新）平時工做的總結和昇華，經過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和集羣環境容量規劃等內容，請持續關注本套博客。QQ郵箱地址：1120746959@qq.com，若有任何學術交流，可隨時聯繫。

1 神經網絡基礎知識整理

• RNN網絡模型

  

• 機率函數

  

• Softmax分類器是不知道知足的分類器

• Softmax分類器計算步驟先exp，再歸一化映射到機率值（0-1），最後計算損失函數Li

  0.13表示貓的機率，經過Li LOG函數變的越大，0.89 離正確類別越遠。

  

• SVM與Softmax對比（SVM在10，9，9的結果中計算損失值，損失值將爲0，分類效果將不會太好）

• 最優化問題（前向傳播，從輸入值到損失值的過程，前向傳播已經獲得初始的權重參數，而後反向傳播將主導權重參數的變化）

• 梯度降低

• 反向傳播（權重參數對最終的Loss值產生了多大影響，進行回饋調節）
• 鏈式法則（反向影響能夠鏈式相乘）

• 反向傳播計算法則

• 反向傳播函數封裝求解

  

• 反向傳播基本規律

2 神經網絡重要特色(激活函數纔是決策者)

• 層次結構

  

• 非線性，只有非線性（激活函數）才能最終獲得分類結果

  

• Sigmoid函數的弊端（梯度消失問題，w1爲0.01時，w0已經不能被反饋更新）

• ReLu首選激活函數（x<0等於0）

  

3 神經網絡展現結果

3.1 神經元對分類的影響

• 神經元爲一個：

  

• 神經元爲二個：

  

• 神經元爲三個：

  

• 神經元20個，產生了過擬合問題

  

3.2 正則化的做用

3.3 數據的預處理

3.4 權重初始化（w採用高斯初始化或者隨機初始化,b採用0初始化）

3.5 DROP-OUT過程(每次前項傳播和後向傳播根據保留率隨機選擇)

4 總結

方便複習，整成筆記，內容粗略，勿怪。

版權聲明：本套技術專欄是做者（秦凱新）平時工做的總結和昇華，經過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和集羣環境容量規劃等內容，請持續關注本套博客。QQ郵箱地址：1120746959@qq.com，若有任何學術交流，可隨時聯繫。

秦凱新 於深圳