Bert原理詳細筆記

1. 前言 bert 的本質是學習單詞的詞向量表達。那我們先來回顧 word2vec，和 bert 預訓練產生詞向量的不同吧！ word2vec缺點： 學習到的是靜態詞向量，與上下文無關，如 「 I like to eat Apple" 和 」Apple is a high-tech company in the United States「, 很顯然這兩個apple的意思不一樣，但在Word2v

>>阅读原文<<