ELMO、BERT、ERNIE、GPT

這一講承接了上一講關於Transformer的部分，依次介紹了基於Transformer的多個模型，包括ELMO、BERT、GPT。 因爲上述的模型主要是應用在NLP中，因此首先我們必須清楚如何將離散的文本數據餵給模型，即如何用向量的方式來表徵輸入到模型的中的文本數據。最簡單的一種方式就是one-hot向量，假設現在文檔中只有apple、bag、cat、dog、elephant五個單詞，那麼就可以

>>阅读原文<<