DeepLearning.ai學習筆記（二）改善深層神經網絡：超參數調試、正則化以及優化--Week2優化算法

時間 2019-11-11

標籤 deeplearning.ai deeplearning 學習筆記改善深層神經網絡參數調試正則以及優化 week2 week 算法欄目正則表達式简体版

原文原文鏈接

轉載自https://www.cnblogs.com/marsggbo/p/7577362.html

1. Mini-batch梯度降低法

介紹

假設咱們的數據量很是多，達到了500萬以上，那麼此時若是按照傳統的梯度降低算法，那麼訓練模型所花費的時間將很是巨大，因此咱們對數據作以下處理：html

如圖所示，咱們以1000爲單位，將數據進行劃分，令 $x^{{1}} = {x^{(1)}, x^{(2)} \dots \dots x^{(5000)}}$ python

注意區分該系列教學視頻的符號標記：算法

小括號() 表示具體的某一個元素，指一個具體的值，例如 $x^{(i)}$ 網絡

中括號[] 表示神經網絡中的某一層,例如 $Z^{[l]}$ 函數

大括號{} 表示將數據細分後的一個集合,例如 $x^{{1}} = {x^{(1)}, x^{(2)} \dots \dots x^{(5000)}}$ 學習

算法步驟

假設咱們有5,000,000個數據，每1000做爲一個集合，計入上面所提到的 $x^{{1}} = {x^{(1)}, x^{(2)} \dots \dots x^{(5000)}}, \dots \dots$ 優化

1)因此須要迭代運行5000次神經網絡運算。

for i in range(5000):

2)每一次迭代其實與以前筆記中所提到的計算過程同樣，首先是前向傳播，可是每次計算的數量是1000atom
3)計算損失函數，若是有正則化，則記得加上正則項
4)反向傳播spa

注意，mini-batch相比於以前一次性計算全部數據不只速度快，並且反向傳播須要計算5000次，因此效果也更好。code

2. 理解mini-batch梯度降低法

如上面所提到的，咱們以1000位單位對數據進行劃分，可是這只是爲了更方便說明問題才這樣劃分的，那麼咱們在實際操做中應該如何劃分呢？

首先考慮兩個極端狀況：

mini-batch size = m
此時即爲Batch gradient descent， $(x^{{t}}, y^{{t}}) = (X, Y)$
mini-batch size = 1
此時即爲Stochastic gradient descent, $(x^{{t}}, y^{{t}}) = (x^{(i)}, y^{(i)})$

如圖示，藍色收斂曲線表示mini-batch size=m，比較耗時，可是最後可以收斂到最小值；而紫色收斂曲線表示mini-batch size=1，雖然速度可能較快，可是收斂曲線十分曲折，而且最終不會收斂到最小點，而是在其附近來回波動。

說了這麼多，那麼mini-batch size該如何選擇呢？如下是選擇的原則：

若是數據量比較小（m<2000），可使用batch gradient descent。通常來講mini-batch size取2的次方比較好，例如64,128,256,512等，由於這樣與計算機內存設置類似，運算起來會更快一些。

3. 指數加權平均

爲了理解後面會提到的各類優化算法，咱們須要用到指數加權平均，在統計學中也叫作指數加權移動平均(Exponentially Weighted Moving Averages)。

首先咱們假設有一年的溫度數據，以下圖所示

咱們如今須要計算出一個溫度趨勢曲線，計算方法以下：

$V_{0} = 0$

$V_{1} = β * V_{0} + (1 - β) θ_{1}$

$\dots \dots$

$V_{t} = β * V_{t - 1} + (1 - β) θ_{t}$

上面的 $θ_{t}$

當 $β = 0.9$

當 $β = 0.98$

當 $β = 0.5$

4. 理解指數加權平均

咱們將上面的公式 $V_{t} = β * V_{t - 1} + (1 - β) θ_{t}$

V t = 0.1 θ t + 0.1 * 0.9 θ t - 1 + 0.1 * 0.9 2 θ t - 2 + \dots

能夠看到在計算第t天的加權溫度時，也將以前的溫度考慮進來，可是都有一個衰減因子β，而且隨着天數的增長，衰減幅度也不斷增長。（有點相似於卷積計算）

5. 指數加權平均的誤差修正

爲何須要修正呢？咱們仔細分析一下就知道了

首先咱們假設的是 $β = 0.98, V_{0} = 0$

$V_{1} = 0.98 V_{0} + 0.02 θ_{1} = 0.02 θ_{1}$

$V_{2} = 0.98 V_{1} + 0.02 θ_{2} = 0.0196 θ_{1} + 0.02 θ_{2}$

假設 $θ_{1} = 40 ℃$

V t = β V t - 1 + ( 1 - β ) θ t 1 - β t

注意！！！上面公式中的 $V_{t - 1}$ 。

爲方便說明，令 $β = 0.98, θ_{1} = 40 ℃, θ_{2} = 39 ℃$

當 $t = 1, θ_{1} = 40 ℃$

因此，記住你若是直接用修正後的 $V_{t - 1}$

6. 動量梯度降低法

首先介紹一下通常的梯度算法收斂狀況是這樣的

能夠看到，在前進的道路上十分曲折，走了很多彎路，在縱向咱們但願走得慢一點，橫向則但願走得快一點，因此纔有了動量梯度降低算法。

Momentum算法的第t次迭代：

計算出dw,db
這個計算式子與上一屆提到的指數加權平均有點相似，即
$V_{d w} = β V_{d w} + (1 - β) d w$
$W = W - α V_{d w}, b = b - α V_{d b}$

最終獲得收斂的效果以下圖的紅色曲線所示。

該算法中涉及到的超參數有兩個，分別是 $α ， β$ ，其中通常 $β = 0.9$

7. RMSprop

該算法全稱叫Root Mean Square Prop(均方根傳播)

這一節和上一節講的都比較歸納，不是很深刻，因此就直接把算法記錄下來吧。

在第t次迭代：

計算該次mini-batch的dw,db
$S_{d w} = β S_{d w} + (1 - β) d w^{2}$
$w := w - α \frac{d w}{\sqrt{S_{d w}}}$

收斂效果(原諒色)

8. Adam優化算法

Adam實際上是Momentum和RMSprop兩個算法的結合，具體算法以下：

初始化 $V_{d w} = 0, V_{d b} = 0 ， S_{d w} = 0 ， S_{d w} = 0$
在第t次迭代
- 計算出dw,db
- $V_{d w} = β_{1} V_{d w} + (1 - β_{1}) d w$
- $V_{d w}^{c o r r e c t e d} = \frac{V_{d w}}{1 - β_{1}^{t}}$
- $W = W - α \frac{V_{d w}^{c o r r e c t e d}}{\sqrt{S_{d w}^{c o r r e c t e d}} + ε}$