注意力機制入門

重點 attention mechanism可以和很多現有模型結合,插入兩層之間:attention model接手前一層的輸出,以及一個上下文參數(這個上下文是注意力機制的關鍵),經過注意力模型,從前一層的輸出中篩選出和上下文相關的一部分(沒必要直接刪減,可以採用加權平均的方式篩選)作爲注意力模型的輸出,這個輸出作爲下一層的輸入,從而讓下一層關注於局部信息,下圖是一個示意圖 image capt

>>阅读原文<<