BERT與其他預訓練模型

上一期我們講到BERT的原理與應用 這一期我們講一下其他預訓練模型~ 8.1.3 RoBERTa 語言模型的預訓練帶來了可觀的性能提升，但是不同方法之間的仔細比較卻是一項艱鉅的任務。 Yinhan Liu等人[1]認爲超參數的選擇對最終結果有重大影響，爲此他們提出了BERT預訓練的重複研究，其中包括對超參數調整和訓練集大小的影響的仔細評估。最終，他們發現了BERT的訓練不足，並提出了一種改進的模型

>>阅读原文<<