長短時記憶網絡(LSTM)

在文本分類中,CNN因爲主要提取的是局部特徵而忽略了global特徵,這容易形成一次多義的現象,進而對文本分類的精度產生必定的影響,而LSTM是RNN的一種變形,其處理的輸入是序列化的輸入,RNN因爲容易更長久的記憶能力,容易形成梯度消失,因此能夠利用lstm模型來防止序列化輸入在傳輸時形成的梯度消失現象。利用BPTT算法來優化參數。算法   因爲RNN能學習任意時間長度序列的輸入,但隨着輸入的增
相關文章
相關標籤/搜索