長短時記憶網絡(LSTM)

在文本分類中,CNN由於主要提取的是局部特徵而忽略了global特徵,這容易造成一次多義的現象,進而對文本分類的精度產生一定的影響,而LSTM是RNN的一種變形,其處理的輸入是序列化的輸入,RNN由於容易更長久的記憶能力,容易造成梯度消失,所以可以利用lstm模型來防止序列化輸入在傳輸時造成的梯度消失現象。利用BPTT算法來優化參數。   由於RNN能學習任意時間長度序列的輸入,但隨着輸入的增多,
相關文章
相關標籤/搜索