位置編碼

由於注意力機制是不會保留序列位置信息的，因此需要該結構去用其他方法吸收位置信息。目前有三種主流的技術可以解決： 用正弦位置編碼（Sinusoidal Position Encoding） 學習位置向量（類似詞向量） 相對位置表達（Relative Position Representations） Motivation  RNN中，第一個"I"與第二個"I"的輸出表徵不同，因爲用於生成這兩個單詞的

>>阅读原文<<