【NLP】語言模型、Transformer

一、詞袋 二、Word_embedding 三、預訓練模型 3.1：ELMO 解RNN的語言模型 就是預測下一個token，訓練好了之後，推知上下文不同，那麼同一個token的表示也不同。 也可以雙向： 不同隱層的weight sum 3.2 Bert BERT-任務1 語義相近詞語的理解： 1、由於語義相近的詞語語境類似，而其embedding語境的綜合結果，故相似。 2、就算相似也要分類爲不同

>>阅读原文<<