Transformer、多頭自注意力機制論文筆記：Attention is all you need

論文原文數組 論文中心思想：提出了一種只使用注意力機制的模型，模型中沒有結合任何RNN或CNN，經過encoder--decoder的模型實現出了一種強力有效的模型。網絡   引言與背景 在注意力機制誕生後，誕生了多種改進的模型，可是這些模型通常都是把注意力機制與循環神經網絡結合（包括一些改良的，如LSTM），可是這些模型有個弊端，就是並行計算能力不強，爲解決這一些問題，論文提出了一種僅基於注意力

>>阅读原文<<