Bert-一種基於深度雙向Transform的語言模型預訓練策略

今天的博客主要參考了論文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。這篇paper是Google公司下幾個研究員發表的，並且在NLP領域引發了很大的轟動（在多個NLP任務集上都打破了以前最好的記錄）。html 其實，這個Bert利用了遷移學習的思想，把針對語言模型任務設計出的網

>>阅读原文<<