入門 | 什麼是自注意力機制？

來源 ： 機器之心， 禁止二次轉載 注意力機制模仿了生物觀察行爲的內部過程，即一種將內部經驗和外部感覺對齊從而增加部分區域的觀察精細度的機制。注意力機制可以快速提取稀疏數據的重要特徵，因而被廣泛用於自然語言處理任務，特別是機器翻譯。而自注意力機制是注意力機制的改進，其減少了對外部信息的依賴，更擅長捕捉數據或特徵的內部相關性。本文通過文本情感分析的案例，解釋了自注意力機制如何應用於稀疏文本的單詞對錶

>>阅读原文<<