RNN可以記憶到很強的位置信息

如下兩個圖片，無論第一幅中的a(ht),還是第二幅中的u，都很可能會記住RNN中的位置，而非每個時間步所表達的語義。一個極端的現象，a(ht)或者u 都把RNN最後一步的輸出的weight 設爲1，而其他時間步的輸出爲0。 （1）可以用於文本分類 （2）可以用於複述判別

>>阅读原文<<