一層、兩層及多層神經網絡 與 激活函數作用 理解

一層網絡實際上是一個線性函數，即權重W與輸入x相乘（偏置項包含其中） 當我們增加一層，變爲兩層神經網絡   這裏的max是將第一層負數結果置爲0 用權重W2乘第一層結果 當我們擴展到三層即更多層，也是類似 那麼我們不使用max可以嗎？   我們看到，如果沒有max，W1 W2 可以合成一個大的W3，最後還是一個線性分類，沒有實質性改變 所以，這裏的max是不可去掉的，而這裏的max，被稱作激活函數

>>阅读原文<<