自然語言處理中的Attention原理和作用

目前NLP三個大的進展，一個是分佈式表示(詞向量)，第二個是 LSTM(GRU),第三個就是attetion，這些技術在原來的基礎上大大提升了nlp各項基礎任務。 attetion究竟是什麼呢。假設循環神經網絡，每個時刻的輸出 h1, h2, . . . , hn attetion其實就是，循環神經網絡hi的在每個時刻的權重αi。因爲，原來我們在預測的時候，是把LSTM的最終的預測狀態 Hn輸出，

>>阅读原文<<