[深度學習] Relu層作用

爲什麼引入非線性激勵函數 如果不用激勵函數，在這種情況下你每一層輸出都是上層輸入的線性函數，很容易驗證，無論你有多少層神經網絡，輸出的都是輸入的線性組合。 激活函數是用來加入非線性因素的，因爲線性模型的表達能力不夠。 以下，同種顏色爲同類數據。某些數據是線性可分的，意思是，可以用一條直線將數據分開。比如下圖： 這時候你需要通過一定的機器學習的方法，比如感知機算法(perceptron learni

>>阅读原文<<