BERT基礎知識

1. ELMO 2. BERT 就是Transformer的Encoder部分：輸入input，輸出embedding 如果處理中文，用 字 作爲單位 （潮水--詞，潮--字） 2.1 預測Masked word 2.2 [SEP] 和 [CLS] [SEP]：兩個句子的 邊界 [CLS]：輸出 分類結果 的 位置，輸出：[SEP]左右兩個句子是否應該接在一起 2.3 如何使用BERT Case

>>阅读原文<<