Transformer結構中獲得相對位置信息的探究

傳送一下 知乎 「原來你還關注了這個專欄」 「這個博主還能敲鍵盤呀」 沒錯，時隔半年，終於終於要更新了 🙊 （主要是我太鹹魚了 這次主要討論一下如何增強 Transformer 結構對獲取相對位置信息的能力(即 Relative Position Embedding in Transformer Architecture)。 Background 事實上，Transformer 是一種建立在 R

>>阅读原文<<