Attention注意力機制簡介

一、注意力機制回顧 簡單來說，注意力本質上就是一個經過softmax層輸出的向量。 在早期機器翻譯應用中，神經網絡結構一般如下圖，是一個RNN的Encoder-Decoder模型。左邊是Encoder，代表輸入的sentence。右邊代表Decoder，是根據輸入sentence對應的翻譯。Encoder會通過RNN將最後一個step的隱藏狀態向量c作爲輸出，Deocder利用向量c進行翻譯。這樣

>>阅读原文<<