RNN原理介紹

RNN介紹： RNN與HMM的區別： 主要是隱狀態，HMM相當於是onehot編碼，每個觀測狀態是由某一個隱狀態決定的，其他都爲0.屬於局部最優解，稀疏。 而RNN的隱狀態相當於詞向量表示（分佈式表示），每個觀測狀態是由好多隱狀態作用生成的，密集。  遞歸神經網絡適合語言模型，因爲後邊的輸出會受前邊輸入的影響，所以一個句子後邊的詞的生成是聯合概率。但存在的問題是 梯度消失，隨着句子加長，生成後邊的

>>阅读原文<<