ELMO、BERT、ERINE、GPT的李宏毅視頻學習筆記
一、ELMO ELMO是通過基於RNN來預測詞向量的，如下圖所示，對於「潮水退了就知道誰沒穿褲子」這句話裏面的「潮水」這個詞，通過正向RNN和逆向RNN都會產生一個詞向量，然後把這兩個詞向量進行加權得到最後的詞向量。其中加權的權重參數是從下游任務裏面學習到的。 二、BERT BERT 的訓練過程有兩種方式，一種是Masked LM，另外一種是預測下一句話的方法。 1. Masked LM Ma
相關文章
- 1. 李宏毅-ELMO、BERT、GPT視頻筆記
- 2. 李宏毅-ELMO, BERT, GPT講解筆記
- 3. 李宏毅-ELMO, BERT, GPT
- 4. 【李宏毅2020 ML/DL】P25 ELMO, BERT, GPT
- 5. 【李宏毅機器學習】Introduction of ELMO、BERT、GPT（p25） 學習筆記
- 6. ELMO,BERT,GPT|深度學習（李宏毅）（十）
- 7. 李宏毅nlp學習筆記05：BERT
- 8. 李宏毅機器學習深度學習視頻筆記
- 9. Memory Network----------李宏毅視頻筆記
- 10. ELMO、BERT、ERNIE、GPT
- 更多相關文章...
- • 您已經學習了 XML Schema，下一步學習什麼呢？ - XML Schema 教程
- • 我們已經學習了 SQL，下一步學習什麼呢？ - SQL 教程
- • Tomcat學習筆記（史上最全tomcat學習筆記）
- • 適用於PHP初學者的學習線路和建議
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章