Knowledge-Injected BERTs

1 從任務本身來看，BERT本質上是一個通用的語言模型，在進行預訓練時，我們希望它能夠學習到詞表中每個詞的詞向量，即對我們平時所接觸到的自然語言進行編碼（encode），使之轉化成模型能理解的語言。 這樣的設定本身存在一個小問題：通過模型編碼之後的語言向量，人類無法理解，那如何才能確保模型正確地學到我們希望的知識呢？一個解決方案是，我們將模型的輸出映射到原來的詞表中，然後將概率最大的單詞作爲模型的

>>阅读原文<<