Bert原理

模型的結構 模型主要由Embedding，多個Transform-Encoders模塊，功能輸出層組成。 Embeddings BERT的輸入將會編碼成三種Embedding的單位和。 如圖所示： 圖中的兩個特殊符號[CLS]和[SEP]，其中[CLS]表示該特徵用於分類模型，對非分類模型，該符合可以省去。[SEP]表示分句符號，用於斷開輸入語料中的兩個句子。 Position Embedding

>>阅读原文<<