Bert的訓練數據生成和解讀

在網上看了久，還沒看到仔細梳理bert訓練數據的解讀文章，本人基於bert源碼和faspell作者的demo梳理了下bert的訓練數據的生成過程，便於小白入門。本人水平有限，如果寫有不當之處，煩請大家指正。 生成MLM任務需要的mask數據 用於訓練的文本材料是以行排列的句子。 首先讀取一行句子，以：「工時填寫。」爲例，該句子會被認爲是一個document和一個chunk，認定只有一個句子後，會隨

>>阅读原文<<