Google | 突破瓶頸，打造更強大的Transformer

一隻小狐狸帶你解鎖煉丹術&NLP祕籍 作者：蘇劍林 (來自追一科技，人稱「蘇神」) 前言 《Attention is All You Need》一文發佈後，基於Multi-Head Attention的Transformer模型開始流行起來，而去年發佈的BERT模型更是將Transformer模型的熱度推上了又一個高峯。當然，技術的探索是無止境的，改進的工作也相繼涌現：有改進預訓練任務的，比如XL

>>阅读原文<<