深度卷積網絡原理—非線性激活的必要性

假設有如上圖所示的神經網絡實例圖

網絡描述以下：

1）有2個輸入，即圖中的x₁、x₂

2）有3個神經元，即途中的b₁、b₂、b₃

3）共2層網絡。第1層的神經元是b₁、b₂，第2層的神經元是b₃.可將中間層稱爲隱層。例如途中的b₁、b₂就屬於隱層

4）有6個權重(w₁₁到w₂₃）。最終輸出爲OUT。

 

神經元b₁的輸出是： x₁w₁₁+x₂w₂₁+b₁

神經元b2的輸出是：x₁w₁₂+x₂w₂₂+b₂

 

若是沒有非線性激活，那麼最終的輸出OUT的計算公式是：

OUT=（x₁w₁₁ + x₂w₂₁ + b₁)* w₁₃ + (x₁w₁₂ + x₂w₂₂ + b₂)*w₂₃ + b₃

        =x₁*(w₁₁w₁₃ + w₁₂w₂₃) + x₂ * (w₂₁w₁₃ + w₂₂w₂₃)+(b₁w₁₃ +b₂w₂₃ +b₃)

 

從上面的公式能夠看出，雖然用了3個神經元，但這個網絡對於x₁和x₂仍然是線性的，徹底等價於1個神經元的效果。

以下圖：

 

所以，若是隻是把神經元簡單的鏈接在一塊兒，不加入非線性處理，最終獲得的仍然是線性函數，沒法完成描述各類複雜的現象，可看出在神經元的輸出時須要一個非線性函數是必要的。

 

若非線性激活函數對於中間層神經元是f，對於最終輸出神經元是g，那麼，對於此前的網絡，最終的輸出會變爲：

OUT=g(f(x₁w₁₁ + x₂w₂₁ +  b₁)* w₁₃ + f(x₁w₁₂ + x₂w₂₂+b₂)*w₂₃ + b₃)

因爲f和g都是非線性的，因而最終可獲得非線性的網絡輸出，便可擬合出複雜的數據。