[PaperReading]*Bi-Directional Attention Flow For Machine Comprehension

概述 attention一直在做的,是將原本的數據信息,有重點有方向地進行總結。這篇文章注意到一個問題,那就是在attention機制上,之前的工作總是在得出attention權重後對於原數據進行總結summary,這使得得到了attention結果的同時,丟失了部分原數據的信息,並且還可能破壞訓練得到的attention的意義(個人覺得做乘法取概率不一定是attention的最終歸宿)。本文就以
相關文章
相關標籤/搜索