實戰:採用字mask和wwm mask在中文領域內finetune bert模型

隨着google發佈bert模型,bert改進版本已經到來,bert-wwm、 bert-wwm-ext、 Roberta-wwm-ext、ENRIE、XLNET各種變種版本都出現了,本人主要這對google開源的bert版本,修改其源碼,數據處理上上採用字mask和wwmmask,框架依然採用tensoflow,但是將源碼中estimator顯式訓練,個人認爲estimator訓練過程是個黑盒子
相關文章
相關標籤/搜索