Attention 總結

1.self attention  Self attention 在NLP中有不少的應用，對於它的做用，我的以爲是經過attention score，可以區分出文本的不一樣部分對最終的任務有不一樣的重要性，好比，對於文本的分類任務，不一樣的字/詞對於任務是有不一樣的重要程度，Self Attention從《Attention Is All You Need》提出。html 具體過程能夠參考《The

>>阅读原文<<