NLPTask6 新聞⽂文本分類_基於深度學習3

瞭解Transformer的原理和基於預訓練語言模型（Bert）的詞表示 學會Bert的使用，具體包括pretrain和finetune Transformer爲什麼需要？ 1.結構化數據挖掘中，大多無序無局部信息 左邊encoding 右邊decoding 2.bert是一個預訓練語言模型，bert是一個考慮上下文（雙向）的模型，爲了適配多任務下的遷移學習，BERT設計了更通用的輸入層和輸出層,

>>阅读原文<<