Star-Transformer

【精簡Transformer】Star-Transformer  本文是復旦大學發表於NAACL 2019的工作。文章的主要貢獻在於精簡transformer，增強了在modestly size datasets上的表現。精簡思路非常清晰且具有可解釋性質，消解實驗和對比實驗也很有針對性。   摘要 雖然transformer在很多NLP任務上都取得了很大的成功，但是它的結構很重，注意力連接是完全連

>>阅读原文<<