自注意力與Transformer

自注意力與 Transformer 簡介 近年來，注意力（Attention）機制被廣泛應用於計算機視覺和自然語言處理領域，僅 CVPR2020 接收的論文中，使用到 Attention 的文章達到 60 篇。隨着 Attention 的廣泛研究，很多不同的 Attention 方法被提出，谷歌機器翻譯團隊於 NIPS2017 發表的《Attention is all you need》引起了廣泛

>>阅读原文<<