爲什麼引入非線性激勵函數？

@張雨石： 第一， 對於神經網絡來說，網絡的每一層相當於f(wx+b)=f(w'x)，對於線性函數，其實相當於f(x)=x，那麼在線性激活函數下，每一層相當於用一個矩陣去乘以x，那麼多層就是反覆的用矩陣去乘以輸入。根據矩陣的乘法法則，多個矩陣相乘得到一個大矩陣。所以線性激勵函數下，多層網絡與一層網絡相當。比如，兩層的網絡f(W1*f(W2x))=W1W2x=Wx。 第二，非線性變換是深度學習有效的

>>阅读原文<<