100天搞定機器學習|Day35 深度學習之神經網絡的結構

這784個神經元就組成了網絡的第一層，最後一層的十個神經元表明0-9這十個數，一樣的，他們的激活值也在0-1之間，表明了輸入圖像對應哪一個數字的可能性。網絡中間層被稱爲隱含層，能夠看作黑箱，數字識別的具體工做就在這裏完成，這裏加了兩層隱含層，每層有16個神經元——隨便設置的，只是爲了顯得好看，後期還能夠再調整。

神經網絡處理信息的核心機制正是如此，一層的激活值經過必定的運算，得出下一層的激活值。上面也提到784個神經元表明的是數字圖案，那麼下一層激活值也會產生某些特殊的圖案，最終在輸出層最亮的神經元表示神經網絡的選擇。

咱們再看看如何訓練，爲何這種層狀結構就能識別數字呢？

咱們能夠把數字進行拆解，理想情況下但願倒數第二層的各個神經元能夠分別對應上一個筆畫。

再來看隱含層第一層，當輸入爲9或8的上面帶圈的數字時，某個神經元的激活值就會接近1，但願全部這種位於圖像頂部的圓圈圖案都能點亮這個神經元，這樣，從第三次到輸出層，咱們只須要學習哪些部件能組合出哪一個數字便可。

可是如何識別圓圈呢？同理能夠把它拆分紅更細微的問題。

因而咱們但願網絡第二層的各個神經元對應這些短邊，第二層就能把全部關聯短邊的八到十個神經元都點亮，接着就能點亮對於頂部圓圈和長豎條的神經元。

而後咱們看看連線的做用

如何讓第二層（隱含層的第一層）中的這一個神經元可以可以識別出圖像的這一塊區域是否存在一條邊？

咱們設計讓第二層的某一個神經元能正確識別圖像中的這塊區域裏是否存在一條邊。

咱們拿出第一層（輸入層/第0層）的激活值，並賦上權重（要關注區域的權重爲正值，不然爲0），這樣對全部像素值求加權和，就只會累加關注區域的像素值了。

綠色爲正值，紅色爲負值，顏色越暗表示權重越接近0

因此想要識別是否存在一條邊，只須要給周圍一圈的像素都賦予負權重

計算的加權值可使任意大小的

可是咱們須要的是將其壓縮到0-1之間

這裏就須要Sigmoid函數了，這就是激活函數。

激活值實際上就是一個對加權之和到底有多正的打分，可是有時加權之和大於0時，也不想點亮神經元，好比想要加權和大於10時才讓他激發，這裏就還須要加上一個偏置值，保證不隨便激發。

權重告訴咱們第二個神經元關注什麼樣的像素圖案

bias告訴咱們加權和要多大才能讓神經元的激發有意義

這裏有13000多個參數須要調整，因此這裏所謂的學習就是找到正確的權重和偏置。剛開始講到咱們把神經元看做是數字容器，可是這些數字取決於輸入的圖像，因此把神經元看過一個函數才更準確，它的輸入是上一層全部神經元的輸出，它的輸出是一個0-1之間的值。其實整個神經網絡也是一個函數，輸入784個值，輸出10個值。不過它是一個包含了13000個權重、偏置參數的極其複雜的函數。