從seq2seq到谷歌BERT，淺談對Attention Mechanism的理解

將深度學習應用到NLP時，許多任務被轉換爲一個Sequence to Sequence的模型來解決，例如對話系統，機器翻譯，文本自動摘要等。在seq2seq中，流行過基於RNN、LSTM及Transformer等的模型，而本文主要介紹Attention Mechanism（注意力機制）在一些模型中所起的作用。 一、RNN Encoder-Decoder RNN Encoder-Decoder模型中

>>阅读原文<<