從Word Embedding到Bert模型—自然語言處理中的預訓練技術發展史（簡單記憶）

1.Word Embedding 什麼是語言模型？ 爲了能夠量化地衡量哪個句子更像一句人話，可以設計如上圖所示函數，核心函數P的思想是根據句子裏面前面的一系列前導單詞預測後面跟哪個單詞的概率大小（理論上除了上文之外，也可以引入單詞的下文聯合起來預測單詞出現概率）。句子裏面每個單詞都有個根據上文預測自己的過程，把所有這些單詞的產生概率乘起來，數值越大代表這越像一句人話。 CBOW（多對一）與Skip

>>阅读原文<<