無炫技：純粹的Bert和Roberta

項目連接：https://github.com/whgaara/pytorch-roberta 項目概述 bert作爲當代NLP的基石型模型，熟練掌握是至關重要的。筆者閱讀了很多大牛的代碼，發現很多內容過於繁瑣，考慮的範疇與功能也非常的複雜。本着讓更多小夥伴能通過代碼直擊bert精髓因此自己一行行純手工敲出這個項目，儘可能做到的是純粹。 因爲roberta和bert極其相似，因此這裏順便給出了兩種

>>阅读原文<<