tensorflow&神經元函數及優化方法

1.激活函數： tf.nn.relu(): f(x) = max(x,0) tf.nn.sigmoid()：sigmoid 函數的優點在於,它的輸出映射在(0,1)內,單調連續,非常適合用作輸出層,並且求導比較容易。但是,它也有缺點,因爲軟飽和性 ,一旦輸入落入飽和區,f ‘(x)就會變得接近於 0,很容易產生梯度消失 S(x) = 11+e−x 1 1 + e − x tf.nn.tanh():

>>阅读原文<<