Attention！注意力機制可解釋嗎？

來源：哈工大SCIR 本文約9300字，建議閱讀10+分鐘。 本文將與您探討注意力機制的可解釋性問題。 序言 自2014年Bahdanau將Attention作爲軟對齊引入神經機器翻譯以來，大量的自然語言處理工作都將其作爲模型中一個提升性能的重要模塊，大量的實驗表明Attention機制是計算高效且效果顯著的。隨之而來的便是對其進行可解釋性的探討研究，一方面，人們希望能更好地瞭解其內在的機理來優化

>>阅读原文<<