文獻記錄－BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

摘要： bert 是用transformer的encoder 來構建的雙向預訓練模型，訓練過程是無監督的，並且可以通過fine-tune的方式去獲得較好的多個下游任務的效果． 簡介： 預訓練模型對於NLP的數據特徵的提取有着很大作用，爲了找到，句子和句子，詞語和詞語之間的聯繫． 現有的預訓練模型有兩種：基於特徵的(elmo)；微調(GPT) 特點： １：Bert使用了掩語預測的模型． ２：雙向 ３

>>阅读原文<<