深層神經網絡——激活函數去線性化

當神經元結構的輸出爲所有輸入的加權和，那麼神經網絡是一個線性模型。如果將每一個神經元（神經網絡節點），的輸出通過一個非線性函數，那麼整個神經網絡的模型也就不再是線性的了。這個非線性函數就是激活函數。 下圖爲加入了激活函數和偏置項後的神經元結構： 神經網絡結構加上激活函數和偏置項後的前向傳播算法的數學定義爲： 相比於傳統的神經網絡主要有兩個改變： 第一是增加了偏置項（bias），偏置項是神經網絡中非

>>阅读原文<<