BERT解讀 —— 基礎概念

word embedding pretrained embedding Word2Vec、GloVe等從未標註數據無監督的學習到詞的Embedding，用到不一樣特定任務中。 用於訓練的Embedding來初始化模型的Embedding，然後用特定任務的監督數據來fine-tuning. 若是監督數據較少，fix Embedding，只讓模型學習其它的參數（Transfer Learning）py

>>阅读原文<<