BERT的理解

最近BERT大火，因此最近也開始研究這個模型，將本身的簡單認識記錄了下來git 從模型的創新角度看通常，創新不大，可是實驗的效果太好了，基本刷新了不少NLP的任務的最好性能，另一點是BERT具有普遍的通用性，就是說絕大部分NLP任務均可以採用相似的兩階段模式直接去提高效果。github 與最近的語言表徵模型不一樣，BERT基於全部層中的左、右語境進行聯合調整，來預訓練深層雙向表徵。只須要增長一個輸

>>阅读原文<<