詳解nlp預訓練詞向量(上)——從word2vec到ELMO

長話短說 Bert具備廣泛的通用性,就是說絕大部分NLP任務都可以採用類似的兩階段模式直接去提升效果。客觀的說,把Bert當做最近兩年NLP重大進展的集大成者更符合事實。 串起來這個故事的脈絡就是自然語言的預訓練過程,但是落腳點還是在Bert身上。要講自然語言的預訓練,得先從圖像領域的預訓練說起。 圖像領域的預訓練 預訓練在圖像領域的應用 1.訓練數據小,不足以訓練複雜網絡 2.加快訓練速度 3.
相關文章
相關標籤/搜索