激活函數篇（Sigmoid、tanh、ReLU、PReLU）

寫在前面：此文只記錄了下本人感覺需要注意的地方，不全且不一定準確。詳細內容可以參考文中帖的鏈接，比較好！！！ 常用激活函數（激勵函數）理解與總結 激活函數的區別與優點 梯度消失與爆炸 1. 激活函數是什麼？ 在多層神經網絡中，上層節點的輸出和下層節點的輸入之間具有一個函數關係，這個函數稱爲激活函數（又稱激勵函數）。 2. 激活函數的用途 如果不用激活函數，每一層的輸入都是上一層輸出的線性函數，而多

>>阅读原文<<