淺談NLP中Attention機制的理解

1.什麼是注意力機制？ 注意力機制模仿了生物觀察行爲的內部過程，即一種將內部經驗和外部感覺對齊從而增加部分區域的觀察精細度的機制。例如人的視覺在處理一張圖片時，會通過快速掃描全局圖像，獲得需要重點關注的目標區域，也就是注意力焦點。然後對這一區域投入更多的注意力資源，以獲得更多所需要關注的目標的細節信息，並抑制其它無用信息。 圖片來源：深度學習中的注意力機制，其中紅色區域表示更關注的區域。 2|0E

>>阅读原文<<