Transformer

時間 2020-12-22

標籤 NLP知識點简体版

原文原文鏈接

本文章參考以下博客，如有不懂，可看原博客參考文章1 參考文章2 整體架構 Transformer其實是一個Seq2Seq模型，左邊一個encoder把輸入讀進去，右邊一個decoder得到輸出 Encoder(N=6層，每層包括2個layers) 主要是由self-attention和前饋神經網絡構成全連接有兩層，第一層的激活函數是ReLU，第二層是一個線性激活函數，可以表示爲： Transf

>>阅读原文<<

1. transformer詳解：transformer/ universal transformer/ transformer-XL
2. 【Transformer】圖解 Transformer
3. transformer
4. Transformer
5. Transformer++
6. 學習Transformer（The Illustrated Transformer）
7. Transformer & Bert
8. 讀Transformer
9. Transformer LambdaNetworks
10. Star-Transformer
更多相關文章...
• RxJava操作符（十）自定義操作符
• ☆基於Java Instrument的Agent實現

相關標籤/搜索

transformer

seq2seq+attention+transformer