圖解Attention

關於Attention的公式推導，我在這篇文章講過了，本篇文章主要以圖示的方式進行講解 下圖是一個Encoder架構， s 0 s_0 s0​從值上來說與 h m h_m hm​是相等的，只不過這裏換了個名字 首先我們需要將 s 0 s_0 s0​和所有的 h i   ( i = 1 , . . . , m ) h_i\ (i=1,...,m) hi​ (i=1,...,m)計算一個"相關性"，比

>>阅读原文<<