谷歌最強NLU模型BERT介紹

本文主體部分分爲四部分,第一部分簡介,對BERT模型進行一個簡要概述。第二部分介紹BERT模型的結構,BERT模型在結構上的創新不大,利用的主要是Transformer,以及把OpenAI GPT模型的單向Transformer改爲了雙向,本文不對Transformer結構進行介紹。第三部分介紹預訓練,這是本文的重點,也是BERT模型的重點,以及Google關於BERT模型的paper的最大創新點
相關文章
相關標籤/搜索