《Self-Attention Attribution: Interpreting Information Interactions Inside Transformer》論文筆記

1、摘要   基於 transformer 的模型的巨大成功得益於強大的多頭自我注意機制，該機制從輸入中學習token依賴並編碼語境信息。先前的工作主要致力於針對具有不同顯著性度量的單個輸入特性的貢獻模型決策，但是他們沒有解釋這些輸入特性如何相互作用以達到預測。這篇論文就提出了一種用於解釋Transformer內部信息交互的自注意屬性算法ATTATTR。文章以 BERT 模型爲例進行了以下實驗：

>>阅读原文<<