無處不在的Attention

概述 之前的博客中，筆者都曾提到attention機制。這種考慮全局，關注重點的機制在深度學習中很常見，尤其是self-attention將自然語言處理帶到一個新高度。attention增加了深度學習的可解釋性，並且應用廣泛，在自然語言處理，計算機視覺，推薦系統中到處可見。它克服了循環神經網絡解決過長序列時的問題，並且也可以像卷積神經網絡那樣能夠並行計算。本文就列舉幾個比較經典的attention

>>阅读原文<<