Attention機制

寫在前面：此文只記錄了下本人感覺需要注意的地方，不全且不一定準確。詳細內容可以參考文中帖的鏈接，比較好！！！ attention詳解 self attention & transformer 參考3 1 Attention原理 其計算公式爲： s i = f ( s i − 1 , y i − 1 , c i ) s_{i} = f\left ( s_{i-1}, y_{i-1}, c_i \ri

>>阅读原文<<