激活函數篇(Sigmoid、tanh、ReLU、PReLU)

寫在前面:此文只記錄了下本人感覺需要注意的地方,不全且不一定準確。詳細內容可以參考文中帖的鏈接,比較好!!! 常用激活函數(激勵函數)理解與總結 激活函數的區別與優點 梯度消失與爆炸 1. 激活函數是什麼? 在多層神經網絡中,上層節點的輸出和下層節點的輸入之間具有一個函數關係,這個函數稱爲激活函數(又稱激勵函數)。 2. 激活函數的用途 如果不用激活函數,每一層的輸入都是上一層輸出的線性函數,而多
相關文章
相關標籤/搜索