transformer模型中的self-attention和multi-head-attention機制

對於《Attention is all you need》這篇文章中提到的transformer模型，本身最初閱讀的時候並非很理解，因而決定從頭開始，一點一點梳理transformer模型。這篇論文主要亮點在於：網絡 （1）不一樣於以往主流機器翻譯使用基於RNN的seq2seq模型框架，該論文用attention機制代替了RNN搭建了整個模型框架。框架 （2）提出了多頭注意力（Multi-head

>>阅读原文<<