文本蘊含日記2——注意力機制

1、什麼是注意力機制（Attention Mechanism） 注意力Attention，人類在觀察周圍環境時，總會優先注意到一些部分來獲取自己需要的信息，這些部分就代表了周圍環境的某種描述。而注意力機制通過學習不同局部的重要性，再結合起來。對Attention常見的有三種理解： （1）從數學公式和代碼實現上attention可以理解爲加權求和； （2）從形式上attention可以理解爲鍵值查詢

>>阅读原文<<