NLP2017總結

注意力機制的思想是我們需要關注在編碼器中的一些相關輸入去更好的完成解碼任務。在最簡單例子中相關性被定義爲特定輸入和當前輸出的相似度。這個相似度可以被定義爲一些帶權的輸入之和，其中權重之和爲1， 並且最大的權重對應最相關的輸入。 在圖中，我們可以看到經典的Dzmitry Bahdanau’s方法：我們有一個輸入–編碼器的隱藏狀態和一些係數來求和這個帶(a’s)的隱藏狀態。這些係數不是預製的，它們由一

>>阅读原文<<