LSTM 兩個激勵函數區別sigmoid 和tanh

1），sigmoid 用在了各種gate上，產生0~1之間的值，這個一般只有sigmoid最直接了。 2），tanh 用在了狀態和輸出上，是對數據的處理，這個用其他**函數或許也可以。 1. sigmoid**函數 sigmoid將一個實數輸入映射到[0,1]範圍內，如下圖（左）所示。使用sigmoid作爲**函數存在以下幾個問題： 梯度飽和。當函數**值接近於0或者1時，函數的梯度接近於0。在反

>>阅读原文<<