無需「域外」文本，微軟：NLP就應該針對性預訓練

在生物醫學這樣的專業領域訓練NLP模型，除了特定數據集，「域外」文本也被認爲是有用的。但最近，微軟的研究人員「大呼」：我不這麼覺得！ 什麼是預訓練？ 這是一個拷問人工智能「門外漢」的靈魂問題。 生而爲人，我們不需要一切從零開始學習。但是，我們會「以舊學新」，用過去所學的舊知識，來理解新知識和處理各種新任務。 在人工智能中，預訓練就是模仿人類這個過程。 預訓練（pre-training）這個詞經常在

>>阅读原文<<