transformer---李宏毅

時間 2020-12-24

標籤 Artificial Neural Networks 简体版

原文原文鏈接

什麼是transformer？對於seq2seq模型，我們常用的是RNN，但我們所使用的RNN是按照時間步去計算的，缺少並行性，當我們的訓練集很龐大時，我們的訓練時間要很久，而李宏毅老師在視頻裏講到，有人提出用CNN去替代RNN，如下圖，左圖爲雙向RNN，而右圖爲CNN去訓練序列我們看到右圖中使用CNN對序列進行特徵的提取，圖中每一個三角形代表一個filter，我們第一層提取相鄰的序列單詞的特徵

>>阅读原文<<

1. 李宏毅——transformer
2. 2.Spatial Transformer Layer（李宏毅）
3. 李宏毅學習筆記15.Transformer
4. 李宏毅《Deep Learning》學習筆記 - transformer
5. Transformer|深度學習（李宏毅）（八）
6. 李宏毅：spatial transformer （空間變換）
7. 【李宏毅】RNN
8. 李宏毅__ML_Notes_4.21
9. 李宏毅__ML_Notes_5.11
10. 【李宏毅】CNN
更多相關文章...
• R 數據框 - R 語言教程
• 錯誤處理 - RUST 教程
• RxJava操作符（十）自定義操作符
• ☆基於Java Instrument的Agent實現

相關標籤/搜索