注意力模型

好記性不如爛筆頭，現在整理一下attention model的各種類型。 什麼是attention 一句話來說，attention是一個加權求和，重點是如何計算權重。我們有一個query向量（包含比較多信息的全局向量），一段key向量，利用query對所有key進行加權求和。 背景 在nlp領域，首先將attention用於機器翻譯，顯然，在進行翻譯的時候，會關注不同的原文信息。 具體來說，在機器

>>阅读原文<<