Google | 突破瓶頸,打造更強大的Transformer

一隻小狐狸帶你解鎖煉丹術&NLP祕籍 作者:蘇劍林 (來自追一科技,人稱「蘇神」) 前言 《Attention is All You Need》一文發佈後,基於Multi-Head Attention的Transformer模型開始流行起來,而去年發佈的BERT模型更是將Transformer模型的熱度推上了又一個高峯。當然,技術的探索是無止境的,改進的工作也相繼涌現:有改進預訓練任務的,比如XL
相關文章
相關標籤/搜索