文獻閱讀筆記-ALBERT ： A lite BERT for self-supervised learning of language representations

0. 背景 機構：谷歌 作者： 發佈地方：ICLR 2020 面向任務：自然語言理解 論文地址：https://openreview.net/pdf?id=H1eA7AEtvS 論文代碼：暫未 0.1 摘要 預訓練自然語言表徵時，增加模型大小一般是可以提升模型在下游任務中的性能。但是這種純粹依賴模型尺寸進而期望大力出奇跡的想法在未來會越發困難。進一步增加模型大小將帶來以下困難：(1)GPU/TPU

>>阅读原文<<