transformer理解

轉載請註明出處，原文地址 簡介 Attention Is All You Need是一篇Google提出的將Attention思想發揮到極致的論文。這篇論文中提出一個全新的模型，叫 Transformer，拋棄了以往深度學習任務裏面使用到的 CNN 和 RNN ，目前大熱的Bert就是基於Transformer構建的，這個模型廣泛應用於NLP領域，例如機器翻譯，問答系統，文本摘要和語音識別等等方向

>>阅读原文<<