RNN原理介紹

RNN介紹: RNN與HMM的區別: 主要是隱狀態,HMM相當於是onehot編碼,每個觀測狀態是由某一個隱狀態決定的,其他都爲0.屬於局部最優解,稀疏。 而RNN的隱狀態相當於詞向量表示(分佈式表示),每個觀測狀態是由好多隱狀態作用生成的,密集。  遞歸神經網絡適合語言模型,因爲後邊的輸出會受前邊輸入的影響,所以一個句子後邊的詞的生成是聯合概率。但存在的問題是 梯度消失,隨着句子加長,生成後邊的
相關文章
相關標籤/搜索