BERT簡要介紹

BERT(Bidirectional Encoder Representation from Transformers) 網絡架構由 Jacob Devlin 等人提出用於預訓練，學習在給定上下文下給出詞的 Embedding 表示。BERT 採用了 Transformer 架構的編碼器部分用於學習詞在給定上下文下詞的 Embedding 表示。考慮到語言模型任務爲從左往右或從右往左預測下一個詞的

>>阅读原文<<