【DL小結5】Transformer模型與self attention

1 提出背景 針對attention model不能平行化,且忽略了輸入句中文字間和目標句中文字間的關係,google在2017年《Attention is all you need》一文提出了Transformer模型。Transformer最大的特色就是徹底拋棄了RNN、CNN架構。模型中主要的概念有2項:1. Self attention(代替RNN) :解決輸入句中文字間和目標句中文字間的
相關文章
相關標籤/搜索