BERT論文翻譯讀書心得

BERT論文翻譯以及讀書心得 Task1 Masked LM Task2 Next Sentence Prediction Pre-training Procedure Fine-tuning Procedure Task1 Masked LM 爲了可以訓練更深的雙向表示，咱們使用了一種更爲直接的方法按必定比例的去隨機Mask某些輸入的tokens。咱們也只預測那些被咱們Masked的tokens

>>阅读原文<<