NLP 總結

LSTM 三個門控制對前一段信息、輸入信息以及輸出信息的記憶狀態，進而保證網絡可以更好地學習到長距離依賴關係。 遺忘門（記憶門）：通過判斷當前輸入信息的重要程度決定對過去信息的保留度 輸入門：通過判斷當前輸入信息的重要程度決定對輸入信息的保留度 輸出門：當前輸出有多大程度取決於當前記憶單元 **函數： 門：sigmoid，0-1分佈概率，符合門控的定義。且當輸入較大或者較小時，值會接近1或0，進而

>>阅读原文<<