Bert與GPT-2

在GPT出現後，谷歌18年推出了Bert，19年時openAI又推出了GPT-2   一、共同點 Bert和GPT-2都採用的是transformer作爲底層結構~ 效果都驚人的好 二、差異 語言模型：Bert和GPT-2雖然都採用transformer，但是Bert使用的是transformer的encoder，即：Self Attention，是雙向的語言模型；而GPT-2用的是transfo

>>阅读原文<<