【筆記】Transformer模型(NLP)

Transformer 模型 谷歌團隊近期提出的用於生成詞向量的BERT[3]算法在NLP的11項任務中取得了效果的大幅提升,堪稱2018年深度學習領域最振奮人心的消息。而BERT算法的最重要的部分便是本文中提出的Transformer的概念。 正如論文的題目所說的,Transformer中拋棄了傳統的CNN和RNN,整個網絡結構完全是由Attention機制組成。更準確地講,Transforme
相關文章
相關標籤/搜索