BERT大火卻不懂Transformer？讀這一篇就夠了

大數據文摘與百度NLP聯合出品 編譯：張馳、毅航、Conrad、龍心塵 編者按：前一段時間谷歌推出的BERT模型在11項NLP任務中奪得STOA結果，引爆了整個NLP界。而BERT取得成功的一個關鍵因素是Transformer的強大作用。谷歌的Transformer模型最早是用於機器翻譯任務，當時達到了STOA效果。Transformer改進了RNN最被人詬病的訓練慢的缺點，利用self-atte

>>阅读原文<<