LSTM 兩個激勵函數區別sigmoid 和tanh

sigmoid 用在了各種gate上，產生0~1之間的值，這個一般只有sigmoid最直接了。 tanh 用在了狀態和輸出上，是對數據的處理，這個用其他**函數或許也可以。 1. sigmoid**函數 sigmoid將一個實數輸入映射到[0,1]範圍內，如下圖（左）所示。使用sigmoid作爲**函數存在以下幾個問題： 梯度飽和。當函數**值接近於0或者1時，函數的梯度接近於0。在反向傳播計算梯

>>阅读原文<<