DataWhale零基礎入門NLP賽事——Task6 基於深度學習的文本分類bert

這裏只介紹Bert裏面的pretrain和finetune。 Google在NAACL 2018發表的論文中提出了BERT，採用了預訓練-微調這一兩階段模式。 什麼是預訓練模型？ 預訓練就是預先訓練好的模型，之前word2vec也是預訓練的一種，預先訓練好語言模型然後在各種任務中重複使用。 什麼是transform? transform是一種Encode&Decode模型，網絡中用到了Multi-

>>阅读原文<<