常見的激活函數

 什麼是激活函數   在神經網絡中，我們經常可以看到對於某一個隱藏層的節點，該節點的激活值計算一般分爲兩步：   （1）輸入該節點的值爲 x1,x2x1,x2 時，在進入這個隱藏節點後，會先進行一個線性變換，計算出值 z[1]=w1x1+w2x2+b[1]=W[1]x+b[1]z[1]=w1x1+w2x2+b[1]=W[1]x+b[1] ，上標 11 表示第 11 層隱藏層。   （2）再進行一個

>>阅读原文<<