NLP入門(2)— RNN & LSTM

前言 上一期介紹了神經語言模型基礎以及詞向量表示。在開始介紹其他語言模型前,有必要了解一下它們的基礎結構:RNN以及LSTM。 RNN(Recurrent Neural Networks) 網絡結構 最簡單的循環神經網絡就是一個單層隱含層結構的網絡;隱含層激活函數爲tanh,輸出層激活函數爲softmax函數。因此和NNLM一樣,RNN的輸出爲預測的概率,範圍在0~1之間。 運作方式 RNN每一次
相關文章
相關標籤/搜索