伯克利AI研究院：強化學習是GPT2等自迴歸語言模型彌補不足的良方？

【編者按】在過去的一年中，人們對文本生成模型的興趣重新燃起，這在很大程度上要歸功於GPT2（openAI設計的大規模非監督文本生成模型），它主要展示了使用更大模型、更大數據和更大計算量的Transformer架構的有效性。值得注意的是，在沒有經過訓練的情況下，該模型在幾個語言建模數據集上就獲得了SOTA結果，這顯示了其驚人的泛化能力。 然而這些模型也顯示出一些缺陷，並且這些缺陷可能無法僅通過擴大模

>>阅读原文<<