Bert簡單理解——原理與介紹

1.BERT的作用 學習參考鏈接：infoQ infoQ2 因爲在NLP任務中我們需要大量的任務專有數據，通常情況下只能將文本分成字段，得到幾百或者幾十萬個人工標註的數據，這遠遠不夠NLP任務中所用的訓練數據。 所以開發一系列訓練通用得語言模型，使用網上爬蟲獲取的文本（未註釋）作爲模型輸入，得到大量的專有任務需要的數據集,該過程也成爲預訓練。 Bert就是這樣的一個訓練通用語言模型的工具。(自己理

>>阅读原文<<