Contextual Word Embeddings

** Pre-ELMo and ELMO **詳細的過程如圖所示: ** ULMfit and onward 對於模型的處理,UML採用瞭如下三步: 1.首先,在一個非常大的數據集(和任務數據集不相關)上訓練一個LM模型。 2.接着,使用任務相關的數據集,對模型進行fine-tune(進行訓練,在前一個模型的基礎上對參數進行微調) 3.使用classifier任務繼續fine-tune **
相關文章
相關標籤/搜索