Attention 機制的學習

概念： 注意力機制模仿了生物觀察行爲的內部過程，即一種將內部經驗和外部感覺對齊從而增加部分區域的觀察精細度的機制。例如人的視覺在處理一張圖片時，會通過快速掃描全局圖像，獲得需要重點關注的目標區域，也就是注意力焦點。然後對這一區域投入更多的注意力資源，以獲得更多所需要關注的目標的細節信息，並抑制其它無用信息，主要用於解決LSTM/RNN模型輸入序列較長的時候很難獲得最終合理的向量表示問題，做法是保留

>>阅读原文<<