Bert模型系列一：輸入到底是什麼東西呢？

bert的輸入是什麼。 首先放上bert論文的地址：添加鏈接描述 上圖是論文中給出的bert的輸入的結構圖: 輸入由三部分組成： 1.token embedding 2 segment embedding 段向量, 其中端對應的就是inputs的一句話， 句子末尾都有加[SEP]結尾符，兩句拼接開頭有[CLS]符號。是因爲BERT裏面的下一句的預測任務，所以會有兩句拼接起來，上句與下句，上句有上句

>>阅读原文<<