NLP pretrained model

最近在公司聽了NLP pretrained model的報告，感覺受益匪淺，特此分享。此處大量參考從Word Embedding到Bert模型—自然語言處理中的預訓練技術發展史 Word Embedding 詞向量在自然語言處理中有着重要的角色，它將抽象的詞語之間的語義關係量化成向量形式。有了良好的詞向量，我們就可以做更多的工作。目前構建詞向量的方式大體上分成兩大類： 統計方法：通過統計詞語之間的

>>阅读原文<<