從RNN到LSTM、GRU、語言模型

RNN RNN最重要的是特徵就是每一時刻的結構和參數都是共享的。 先放一張盜圖 RNN就好像天生爲序列而生的神經網絡,舉個簡單的例子,序列標註,比如詞性標註,如圖所示,x是我們輸入,h是我們的輸出,也就是詞性。有人可能就會說,我們使用一般的神經網絡也可以做到這樣。 一個詞一個樣本就可以了,這裏的話就破壞了句子的連貫性,那些多詞性的還怎麼標註呢。 恩達是這麼說的: 一個像這樣單純的神經網絡結構(普通
相關文章
相關標籤/搜索