一文詳解transformer（Attention Is All You Need）原理

談起天然語言，就不得不說到如今大火的bert以及openai gpt-2,可是在理解這些模型以前，我以爲首先應該瞭解transformer，因本人水平有限，在看了transformer的論文以後也只知其一;不知其二，在分享今天的知識以前，咱們先簡單瞭解一下seq2seqhtml 首先要說到seq2seq的發展歷史，從單純的RNN-RNN到LSTM-LSTM,再到BiLSTM-BiLSTM或者BiG

>>阅读原文<<