【深度學習】RNN中Attention原理詳解

Attention原理 在輸出序列中，當前的輸出與當前狀態有關。 當前狀態與前一步狀態、前一步輸出和當前所看到的上下文有關 當前所看到的上下文來自其所看到的輸入的信息(對輸入加工得到有用信息)的加權，這個加權就是所謂的Attention機制。也就是說之前所看到的信息需要區別對待。 輸入信息的加權值，通過當前輸入信息與前一步狀態通過softmax計算得到。這個加權值的計算也是需要通過神經網絡訓練出來

>>阅读原文<<