常用激活函數sigmoid，Tanh，ReLU

什麼是激勵函數 激勵函數一般用於神經網絡的層與層之間，上一層的輸出通過激勵函數的轉換之後輸入到下一層中。神經網絡模型非線性的，如果沒有激勵函數，那麼每一層實際上就相等於矩陣乘法。而將過非線性的激勵函數的作用，可以使神經網絡擁有更過的表現力。 下面我們具體的描述這一問題 如下，加入x1，x2是神經網絡輸入層節點，net01是隱含層的一個節點，可以知道的是 neto1 = x1*w1+x2*w2+1*

>>阅读原文<<