BERT介紹

這篇介紹如下最近大熱的BERT，它在11個NLP任務中刷新了成績，效果確實驚人。不過在介紹論文以前我仍是想說這項工做不是很好復現，若是沒有足夠的資源就不要想了 。我以爲極可能將來的利用價值在於直接使用做者公佈的預訓練好的模型。html 回顧 如今有不少利用預訓練的語言表徵來完成下游NLP任務的研究，做者把它們歸納爲兩類feature-based和fine-tuning:web 分類 表明 task

>>阅读原文<<