Transformer++

                                         我們使用如圖[1]所示的編碼器-解碼器架構來對一個序列進行序列建模，該架構遵循Transformer[15]中提出的架構。我們提出了一種計算注意函數的新方法，同時學習了新的多頭和傳統的多頭。對於給定的H(多個頭的總數)，我們在H/2 heads中使用自我注意來捕獲全局依賴關係，並在H/2 heads中使用基於卷積的注

>>阅读原文<<