transformer中的position embedding

transformer中的position embedding的生成   以上公式就是我們獲得position embedding的方法。 pos:表示單詞在句子中的位置(1,2,3,...seg_len) i:表示詞向量中的位置(0,1,2,3,......,511) dmodel:表示的是詞向量的維度(512) 根據該公式畫圖得到: 畫圖確實有點簡陋。從圖中我們看到,藍色線就是pos=1的時候
相關文章
相關標籤/搜索