Stanford 深度自然語言處理 學習筆記（十）

  注意力機制 爲各隱層節點分配不同的注意力（權重）。可按需訪問隱層狀態。 利用注意力模型在源和目標之間建立隱式的關聯。可以看成一種對齊。 打分函數————>分數—softmax—>權重。加權和就是上下文向量。 用到了編碼器的全部隱層狀態信息。不同時刻分配的權重不同。 第二種方法使ht和hs形成更復雜的交互。第三種方法使用單層神經網絡，ht和hs沒有交互。   coverage機制

>>阅读原文<<