多層注意力模型:Hierarchical Attention Networks for Document Classification

1、簡介 文本分類問題一直是自然語言處理(NLP)中一個廣受人們關注的問題。可能好多剛接觸深度學習做NLP的項目就是使用循環神經網絡(RNN)對IMDB影評進行分類。但使用循環神經網絡時一般會遇到一個問題,那就是當所要處理的序列較長時,就會導致網絡容易忘記之前的東西,這在機器翻譯、對話系統中會經常出現,爲解決這一問題,大佬們就根據心理學原理提出了「注意力」機制,使得網絡工作過程中可以像人一樣將注意
相關文章
相關標籤/搜索