注意力機制

Attention機制是什麼？ 說到底attention實際上是一個加權求和，用於計算每個與attention關注的對象（其實是一個向量）的相關程度。 step1 設計一個打分函數 f i f i fi，針對每個 h i hi hi，計算出一個score s i si si 。而 s i si si打分的依據，就是 h i hi hi與attention所關注的對象(其實就是一個向量)的相關程度，

>>阅读原文<<