簡單理解ELMO

ELMO 本身是個根據當前上下文對 Word Embedding 動態調整的思路 ELMO 採用了典型的兩階段過程，第一階段是利用語言模型進行預訓練；第二階段是在做下游任務時，從預訓練網絡中提取對應單詞的網絡各層的 Word Embedding 作爲新特徵補充到下游任務中。 上圖展示的是其預訓練過程，它的網絡結構採用了雙層雙向 LSTM，目前語言模型訓練的任務目標是根據單詞W的上下文去正確預測單詞

>>阅读原文<<