機器學習/深度學習/NLP-6-bert

機器學習/深度學習/NLP-6-bert bert子任務 Masked LM Next Sentence Prediction 整體思想 bert子任務 bert作預訓練的時候，有兩個子任務：Masked LM和Next Sentence Prediction。前者是隨機遮住句子中的一部分詞，根據剩餘詞彙預測這些詞是什麼；後者是給定兩個句子，預測這兩個句子是不是上下句。 相當於從兩個角度來讓模型輸

>>阅读原文<<