DataWhale零基礎入門NLP賽事——Task6 基於深度學習的文本分類bert

這裏只介紹Bert裏面的pretrain和finetune。 Google在NAACL 2018發表的論文中提出了BERT,採用了預訓練-微調這一兩階段模式。 什麼是預訓練模型? 預訓練就是預先訓練好的模型,之前word2vec也是預訓練的一種,預先訓練好語言模型然後在各種任務中重複使用。 什麼是transform? transform是一種Encode&Decode模型,網絡中用到了Multi-
相關文章
相關標籤/搜索