T5 模型：NLP Text-to-Text 預訓練模型超大規模探索

相信大多 NLP 相關者，在時隔 BERT 發佈近一年的現在，又被谷歌剛發佈的 T5 模型震撼到了。又是一輪屠榜，壓過前不久才上榜自家的ALBERT，登上 GLUE 榜首。 當然，最大的衝擊還是財大氣粗，bigger and bigger，但翻完它長達 34 頁的論文，發現其中的分析無疑是誠意滿滿（都是錢）。類似這樣的大型實驗探索論文也有一些，首先提出一個通用框架，接着進行了各種比對實驗，獲得一套

>>阅读原文<<