NLP入門（4）— Self-attention & Transformer

前言 上一期介紹了Seq2Seq Model，這樣一個思想可以說是經久不衰。不過即便如此，以RNN爲基礎結構的Model也有存在的一些問題，這也促使急需有新的模型能夠對它的地位發起挑戰。本篇博客就來介紹近幾年大火的NLP模型Transformer。 Self-attention 要想認識Transformer，那麼先得從它內部最核心的結構說起，也就是這個Self-attention結構。 RNN存

>>阅读原文<<