Transformer理解

1.Transformer示意圖 transformer宏觀上由左邊的六層endocer和右邊的六層encoder構成,這些block各不分享權重,在左側的encoder部分,前一時刻的encoder輸出作爲下一時刻encoder的輸入,直到最後時刻的encoder的輸出向量會傳遞給decoder的每一個block(block中的encoder-decoder attention模塊)作爲其輸入的
相關文章
相關標籤/搜索