深度學習筆記1

 

深度學習筆記1

深度學習的步驟：

1. 定義一組函數
2. 給出評價的標準
3. 選出最佳函數

深度學習的好處

1. 深度->模塊化->解決數據少的問題（長髮男）

2. 隱含層表達能力強

    

模塊化的優點：

• 很是類似的輸入，徹底不一樣的輸出
• 徹底不一樣的輸入，很是類似的輸出。

 

激勵函數的做用

1. 非線性的激勵函數，能夠加強網絡的表達能力
2. 使得數據歸一化。（不至於某個權值很是大的特徵帶偏了，如身高用毫米表示）

 

Sigmoid激勵函數的缺點：

• Sigmoid=1/(1+e^-x)
• 容易出現梯度消失

ReLu激勵函數好處：

• 計算快（y=x)
• 解決平坦區域
• 仿生效果好

Dropout做用：

• 使得網絡變得瘦長
• 避免過學習
• 同時訓練多個網絡，結果取平均(每一個網絡都是隨機Dropout，故每一個網絡都不同)

爲何在圖形處理中使用CNN：

• 重要的模式一般比圖像自己小（鳥嘴）
• 相同的模式會出如今不一樣的區域
• 二次抽樣不會改變咱們關注的模式（圖像的縮放）

卷積做用：

• 發現重要特徵，提取特徵
• 卷積核自動訓練出來的

Pooling做用：（選用max-pooling)

• 經過二次抽樣，取最大值，丟掉其餘部分（常爲噪聲）
• 思想：非最大值抑制

語音識別的步驟：

• 思想：將聲音識別轉化爲圖像識別

• 步驟：

  1. 將聲音經過傅里葉變換->頻譜圖
  2. 對頻譜圖識別

深度學習的技巧：

• 新的激勵函數

  • ReLu
  • 改進的ReLu

• 正則化

  • 快速收斂
  • 解決平坦區域

• Dropout

  • 避免過學習
  • 使得網絡簡單

循環神經網絡RNN（天然語言處理的方法）

1. 使用jieba分詞。將句子分紅一個個詞語

   • 做用：

2. 對每一個分詞進行編碼(1-of-N 編碼)：除了詞語對應字典的位置爲1，其他位置所有爲0

3. 隱含層的輸出被存入記憶單元（當作額外的輸入）