BERT論文閱讀筆記

BERT: Bidirectional Encoder Representations from Transformers BERT 是用於語言理解的預訓練深度雙向編碼表徵的 transformer結構。它被設計爲通過在所有網絡層中基於左右文本來預訓練深度雙向表徵。因此通過外接一個輸出層來 fine-tuned 預訓練好的BERT 表徵形成一個新的模型，這種做法可以將BERT運用在大量的其他任務上

>>阅读原文<<