筆記(總結)-注意力機制(Attention)簡述

本篇主要針對注意力（Attention）機制進行簡要描述。Attention是爲了解決Sequence-to-Sequence中的一些問題而提出的，本身的邏輯十分簡潔。Attention的產生過程反映瞭解決問題的一種最直接的思路，正如Resnet中提出「殘差」的概念一樣，簡單直接的就能解決問題，而且思路沒有繞任何彎子。這在科研工作中是十分難得的。下面結合機器翻譯問題來回顧下這整個過程。 Seq2s

>>阅读原文<<