ELMO、BERT、ERINE、GPT的李宏毅視頻學習筆記

一、ELMO ELMO是通過基於RNN來預測詞向量的，如下圖所示，對於「潮水退了就知道誰沒穿褲子」這句話裏面的「潮水」這個詞，通過正向RNN和逆向RNN都會產生一個詞向量，然後把這兩個詞向量進行加權得到最後的詞向量。其中加權的權重參數是從下游任務裏面學習到的。   二、BERT BERT 的訓練過程有兩種方式，一種是Masked LM，另外一種是預測下一句話的方法。 1. Masked LM Ma

>>阅读原文<<