RNN可以記憶到很強的位置信息

如下兩個圖片,無論第一幅中的a(ht),還是第二幅中的u,都很可能會記住RNN中的位置,而非每個時間步所表達的語義。一個極端的現象,a(ht)或者u 都把RNN最後一步的輸出的weight 設爲1,而其他時間步的輸出爲0。 (1)可以用於文本分類 (2)可以用於複述判別
相關文章
相關標籤/搜索