NLP《語言模型（三）-- 基於循環神經網絡的RNNLM語言模型》

RNNLM，鑑於RNN天生的結構就存在有長期依賴，特別適合於序列的數據，解決了NNLM的不能獲得長期依賴的問題（窗口固定導致），RNNLM還能通過BiRNN獲得任意上下文的依賴。下面我們學習。本文僅僅學習理論知識，操作實踐留給後面的博文。 一：RNNLM 是一個根據上下文，預測下一個詞語概率的模型。 這個模型更加貼近於語言模型的定義，得到語言模型中每個因數參數的計算。 圖示如下： 一般訓練的時候，

>>阅读原文<<