【cs224n-11】Contextual Word Representations: BERT

     詞嵌入是NLP深度學習的基礎，以Word2Vec、Glove和FastText爲代表的靜態詞向量爲文本在神經網絡中的表示提供了一種強有力的工具。然而這種靜態的詞嵌入存在的問題是，以上下文無關的方式應用，對每個單詞僅有一種表示，而通常單詞的含義依賴於其上下文會有所不同，而且每個單詞不僅有一方面特徵，而應有各方面特徵如語義特徵，語法特徵等。解決的方式是，在文本語料庫上訓練上下文表示。    

>>阅读原文<<