關於激勵函數的一些思考

在學習神經網絡的時候，會發現神經網絡中的各個神經元代表的其實就一種運算，這=這種運算就是激勵函數，激勵函數一般都是非線性的，爲什麼呢？ 因爲線性函數有一個特點，那就是線性函數的組合還是線性函數，這也就以爲這不論你所設計的神經網絡有多深，多麼複雜，只要裏面用到的激勵函數是線性函數，那麼這些層層之間都是線性函數的一個組合，最終整個網絡依然是線性的，可以用一個矩陣來代替，跟只有一層網絡是沒有區別的，所以

>>阅读原文<<