Bert-一種基於深度雙向Transform的語言模型預訓練策略

今天的博客主要參考了論文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。這篇paper是Google公司下幾個研究員發表的，而且在NLP領域引起了很大的轟動（在多個NLP任務集上都打破了之前最好的記錄）。 其實，這個Bert利用了遷移學習的思想，把針對語言模型任務設計出的網絡參數進

>>阅读原文<<