自然語言處理中的注意力機制是幹什麼的?

談神經網絡中注意力機制的論文和博客都不少,但很多人還是不知道從哪看起。於是,在國外問答網站Quora上就有了這個問題:如何在自然語言處理中引入注意力機制? 技術主管Nikhil Dandekar做出了一個簡要的回答: 概括地說,在神經網絡實現預測任務時,引入注意力機制能使訓練重點集中在輸入數據的相關部分,忽略無關部分。 注意力是指人的心理活動指向和集中於某種事物的能力。比如說,你將很長的一句話人工
相關文章
相關標籤/搜索