bert原理和實驗

這篇介紹以下最近大熱的BERT，它在11個NLP任務中刷新了成績，效果確實驚人。不過在介紹論文之前我還是想說這項工作不是很好復現，如果沒有足夠的資源就不要想了 。我覺得很可能未來的利用價值在於直接使用作者公佈的預訓練好的模型。 回顧 現在有很多利用預訓練的語言表徵來完成下游NLP任務的研究，作者把它們概括爲兩類feature-based和fine-tuning: 分類 代表 task-specif

>>阅读原文<<