sigmoid tanh Relu比較

1、sigmoid函數 函數曲線圖如下： 函數導數曲線圖如下： 優點： 輸出爲0到1之間的連續實值，此輸出範圍和概率範圍一致，因此可以用概率的方式解釋輸出。- 將線性函數轉變爲非線性函數 缺點： 容易出現gradient vanishing 函數輸出並不是zero-centered 冪運算相對來講比較耗時 對應的tf函數：tf.nn.sigmoid() 2、tanh函數 tanh函數表達式： 函數

>>阅读原文<<