李宏毅nlp學習筆記04：bert和它的好朋友們
1.當下追求的模型： 輸入文本，訓練使得模型可以讀懂文本，然後根據不同的任務微調模型！ 2.bert大家庭—芝麻街： 3.預訓練： 把token用嵌入的向量表示。 針對英文系的前綴後綴等，有fasttext 中文的偏旁部首也能體現一定的意義： 爲了表示相同字在不同詞中的意思不同，現在的model都是輸入整個句子之後，再給出每個token 的embedding。 即上下文。 這樣的模型可以有哪些呢？
相關文章
- 1. 李宏毅nlp學習筆記05：BERT
- 2. 李宏毅nlp學習筆記14：Multi-lingual BERT
- 3. 李宏毅-ELMO, BERT, GPT講解筆記
- 4. 李宏毅-ELMO、BERT、GPT視頻筆記
- 5. ELMO、BERT、ERINE、GPT的李宏毅視頻學習筆記
- 6. 李宏毅2020機器學習04 - Classification
- 7. 李宏毅-ELMO, BERT, GPT
- 8. 李宏毅nlp學習筆記12：DST（Dialogue State Tracking）
- 9. 李宏毅nlp學習筆記13：GPT-3
- 10. 李宏毅nlp學習筆記09：Dependency parsing
- 更多相關文章...
- • 我們已經學習了 SQL，下一步學習什麼呢？ - SQL 教程
- • 您已經學習了 XML Schema，下一步學習什麼呢？ - XML Schema 教程
- • Tomcat學習筆記（史上最全tomcat學習筆記）
- • 適用於PHP初學者的學習線路和建議
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 李宏毅nlp學習筆記05：BERT
- 2. 李宏毅nlp學習筆記14：Multi-lingual BERT
- 3. 李宏毅-ELMO, BERT, GPT講解筆記
- 4. 李宏毅-ELMO、BERT、GPT視頻筆記
- 5. ELMO、BERT、ERINE、GPT的李宏毅視頻學習筆記
- 6. 李宏毅2020機器學習04 - Classification
- 7. 李宏毅-ELMO, BERT, GPT
- 8. 李宏毅nlp學習筆記12：DST（Dialogue State Tracking）
- 9. 李宏毅nlp學習筆記13：GPT-3
- 10. 李宏毅nlp學習筆記09：Dependency parsing