實戰：採用字mask和wwm mask在中文領域內finetune bert模型

隨着google發佈bert模型，bert改進版本已經到來，bert-wwm、 bert-wwm-ext、 Roberta-wwm-ext、ENRIE、XLNET各種變種版本都出現了，本人主要這對google開源的bert版本，修改其源碼，數據處理上上採用字mask和wwmmask，框架依然採用tensoflow，但是將源碼中estimator顯式訓練，個人認爲estimator訓練過程是個黑盒子

>>阅读原文<<