自然語言理解系列論文筆記

1 BERT 雙向的Transformer預訓練語言模型，使用fine-tuning用於下游任務（用於下游任務的策略有兩種，基於特徵和微調）。主要是用Masked LM實現雙向自編碼，摒棄先前的自迴歸方式（自左向右或自右向左預測下一個單詞，無法同時利用上下文信息），實現了上下文信息的利用。 BERT輸入 輸入格式：[cls] Text-A [SEP] Text-B [SEP] （源碼有自動處理的過

>>阅读原文<<