[論文閱讀筆記 --- 13] StructBERT: Incorporating Language Structures into Pre-training for Deep Language Un

Bert 預訓練思路 Bert 預訓練模型 Bert 預訓練兩大子任務 Mask Token Prediction: 對於Mask的位置，多分類任務，從此表中預測處正確的詞 Next Sentence Prediction: 輸入兩個句子，判斷S1和S2是否是上下句的關係。 Mask Token Prediction Next Sentence Prediction StructBert 對於單個

>>阅读原文<<