transformer encoder整體結構梳理

transformer encoder整體結構梳理 下面用公式把一個transformer block的計算過程整理一下： （1）字向量與位置編碼： X = E m b e d d i n g L o o k u p ( X ) + P o s i t i o n a l E n c o d i n g X=EmbeddingLookup(X)+PositionalEncoding X=Embed

>>阅读原文<<