吳恩達機器學習：神經網絡 | 反向傳播算法

時間 2019-12-05

原文原文鏈接

上一週咱們學習了 神經網絡 | 多分類問題。咱們分別使用 邏輯迴歸 和 神經網絡 來解決多分類問題，並瞭解到在特徵數很是多的狀況下，神經網絡是更爲有效的方法。這周的課程會給出訓練 神經網絡 所使用的 代價函數，並使用 反向傳播 算法來計算梯度。筆者會給出 反向傳播 算法中重要的思路和推導，但不會包含全部的計算步驟。git

點擊 課程視頻 你就能不間斷地學習 Ng 的課程，關於課程做業的 Python 代碼已經放到了 Github 上，點擊 課程代碼 就能去 Github 查看（沒法訪問 Github 的話能夠點擊 Coding 查看），代碼中的錯誤和改進歡迎你們指出。github

如下是 Ng 機器學習課程第四周的筆記。算法

代價函數

假設咱們的多分類問題有個分類，神經網絡共有層，每一層的神經元個數爲，那麼神經網絡的 代價函數 爲：網絡

J(\Theta)= -\frac{1}{m}\sum\limits_{i=1}^{m}\sum\limits_{k=1}^{K}\Big(y_k^{(i)}log\big(h_\Theta(x^{(i)})\big)_k+(1-y_k^{(i)})log\big(1-\big(h_\Theta(x^{(i)})\big)_k\big)\Big) \\
+ \frac{\lambda}{2m}\sum\limits_{l=1}^{L-1}\sum\limits_{i=1}^{s_l}\sum\limits_{j=1}^{s_{l+1}}\big(\Theta_{ji}^{(l)}\big)^2

其中的第二項爲 正則化 項，是網絡中全部權值的平方和。第一項與邏輯迴歸中的 代價函數 相似，但這裏咱們須要累加全部輸出神經元的偏差。app

梯度計算

爲了可以使用 梯度降低 算法來訓練網絡，咱們須要計算代價函數的梯度。一種很直觀的方法就是使用數值計算，對於某個 $\Theta_{ij}$ ，給它加上減去一個很小的量 $\epsilon$ 來計算梯度：機器學習

\frac{\partial J(\theta)}{\partial\theta_j} \approx \frac{J(\theta_1,\cdots,\theta_j+\epsilon,\cdots,\theta_n)-J(\theta_1,\cdots,\theta_j-\epsilon,\cdots,\theta_n)}{2\epsilon}

但稍微分析一下算法的複雜度就能知道，這樣的方法十分緩慢。對於每一組數據，咱們須要計算全部權值的梯度，**總的計算次數 = 訓練數據個數 x 網絡權值個數 x 前向傳播計算次數 **。在一般狀況下這樣的複雜度是沒法接受的，因此咱們僅使用這個方法來驗證 反向傳播 算法計算的梯度是否正確。ide

鏈式法則

爲了可以理解以後對於 反向傳播 公式的推導，咱們首先要了解一個關於多元複合函數求導的 鏈式法則。對於多元函數，其中，，那麼：函數

\frac{\partial z}{\partial x} = \frac{\partial z}{\partial u}\frac{\partial u}{\partial x} + \frac{\partial z}{\partial v}\frac{\partial v}{\partial x} \\
\frac{\partial z}{\partial y} = \frac{\partial z}{\partial u}\frac{\partial u}{\partial y} + \frac{\partial z}{\partial v}\frac{\partial v}{\partial y}

鏈式法則 告訴咱們有多個層次的多元複合函數，下一層次的導數能夠由上一層次推得。學習

上圖中筆者有意多加了一層，這裏

是

的函數，

是

的函數，

是

的函數。對於要計算的 $\frac{\partial z}{\partial x}$ 與 $\frac{\partial z}{\partial y}$ ，上式仍成立，緣由是咱們能夠把

看做

的函數。這至關於咱們把：

\frac{\partial z}{\partial x} = \frac{\partial z}{\partial p} \frac{\partial p}{\partial u} \frac{\partial u}{\partial x} +
\frac{\partial z}{\partial p} \frac{\partial p}{\partial v} \frac{\partial v}{\partial x} +
\frac{\partial z}{\partial q} \frac{\partial q}{\partial u} \frac{\partial u}{\partial x} +
\frac{\partial z}{\partial q} \frac{\partial q}{\partial v} \frac{\partial v}{\partial x}

簡化爲了只與上一層相關，利用上一層計算完成的結果 $\frac{\partial z}{\partial u}$ 和 $\frac{\partial z}{\partial v}$ 而不用從頭算起：.net

\frac{\partial z}{\partial x} = \frac{\partial z}{\partial u}\frac{\partial u}{\partial x} + \frac{\partial z}{\partial v}\frac{\partial v}{\partial x}

通常的，對於函數，若是它能看作 $z_1,z_2 \cdots,z_n$ 的函數，而爲的函數，則：

\frac{\partial y}{\partial t} = \sum\limits_{i=1}^{n} \frac{\partial y}{\partial z_i} \frac{\partial z_i}{\partial t}

神經網絡就是一個層次不少的多元函數，咱們能夠隱約從 鏈式法則 中感受到反向傳播的意味。

公式推導

爲了施展 反向傳播 的魔法，咱們首要要引入一箇中間變量 $\delta$ ，定義爲：

\delta_j^{l} = \frac{\partial J}{\partial z_j^{l}}

其中爲第幾層，表示第層的第幾個神經元，爲上次課程提到的中間變量（爲了讓式子看上去更清晰，反向傳播 中的公式上標不使用括號）。 $\delta$ 被稱爲第層第個神經元的偏差。反向傳播 就是先計算每一層每一個神經元的偏差，而後經過偏差來獲得梯度的。

首先來看輸出層的偏差：

\delta^L_j = \frac{\partial J}{\partial z^L_j}

對它使用 鏈式法則 獲得：

\delta^L_j = \sum\limits_{k=1}^{K} \frac{\partial J}{\partial a^L_k} \frac{\partial a^L_k}{\partial z^L_j}

而只有當時，右邊部分纔不爲，因此：

\delta^L_j = \frac{\partial J}{\partial a^L_j} \frac{\partial a^L_j}{\partial z^L_j} = \frac{\partial J}{\partial a^L_j} g'(z_j^L)=a_j^L-y_j^L\tag{1}

對於其它層的偏差：

使用 鏈式法則：

\delta^l_j = \sum\limits_{k=1}^{s_{l+1}} \frac{\partial J}{\partial z_k^{l+1}} \frac{\partial z_k^{l+1}}{\partial z^l_j} = \sum\limits_{k=1}^{s_{l+1}} \delta^{l+1}_k \frac{\partial z_k^{l+1}}{\partial z^l_j}

而其中：

z_k^{l+1} = \sum\limits_{p=1}^{s_l} \Theta_{kp}^{l} g(z_p^l)+b_k^{l}

求偏導得：

\frac{\partial z^{l+1}_k}{\partial z^l_j} = \Theta_{kj}^{l} g'(z^l_j)

因此：

\delta^l_j = \sum\limits_{k=1}^{s_{l+1}} \Theta_{kj}^{l} \delta^{l+1}_k g'(z^l_j) = \sum\limits_{k=1}^{s_{l+1}} \Theta_{kj}^{l} \delta^{l+1}_k a_j^l (1-a_j^l) \tag{2}

最後一樣使用 鏈式法則 來計算：

\frac{\partial J}{\Theta_{ij}^{l}} = \sum\limits_{k=1}^{s_{l+1}} \frac{\partial J}{\partial z_k^{l+1}} \frac{\partial z_k^{l+1}}{\partial \Theta_{ij}^{l}} = \sum\limits_{k=1}^{s_{l}} \delta^{l+1}_k \frac{\partial z_k^{l+1}}{\partial \Theta_{ij}^{l}}

因爲：

只有當，時留下一項：

\frac{\partial J}{\Theta_{ij}^{l}} = g(z_j^l) \delta^{l+1}_i = a_j^l \delta^{l+1}_i \tag{3}

反向傳播

有了 (1) (2) (3) 式，就能夠來完成 反向傳播 算法了（須要注意的是剛纔所推導的式子都是針對一組訓練數據而言的）。

對於全部的初始化 $\Delta_{ij}^l = 0$

對於組訓練數據，從取到：

令 $a^1 = x^{(k)}$

前向傳播，計算各層激活向量 $a^{l}$

使用 (1) 式，計算輸出層偏差 $\delta^L$

使用 (2) 式，計算其它層偏差 $\delta^{L-1},\delta^{L-2},...,\delta^{2}$

使用 (3) 式，累加 $\Delta_{ij}^l$ ， $\Delta_{ij}^l:=\Delta_{ij}^l+a_j^l\delta_i^{l+1}$

計算梯度矩陣：

$D^{l}_{ij} = \begin{cases} \dfrac{1}{m}\Delta^{l}_{ij} + \dfrac{\lambda}{m}\Theta^{l}_{ij} & \mbox{if $j \neq 0$} \\ \dfrac{1}{m}\Delta_{ij}^{l} & \mbox{if $j=0$} \end{cases}$

更新權值 $\Theta^l := \Theta^l+ \alpha D^l$