14.爲何LSTM模型中存在sigmoid與tanh兩種激活函數,而不是選擇一種

兩者目的不同。web sigmoid用在了各類gate上,產生0~1之間的值,這個使用sigmoid最直接,至關於要麼是1則記住要麼是0則忘掉。tanh用在了狀態和輸出上,是對數據的處理,這個也能夠用其餘激活函數。svg
相關文章
相關標籤/搜索