BERT的[CLS]有什麼用

[CLS]就是classification的意思，可以理解爲用於下游的分類任務。 主要用於以下兩種任務： 單文本分類任務：對於文本分類任務，BERT模型在文本前插入一個[CLS]符號，並將該符號對應的輸出向量作爲整篇文本的語義表示，用於文本分類，如下圖所示。可以理解爲：與文本中已有的其它字/詞相比，這個無明顯語義信息的符號會更「公平」地融合文本中各個字/詞的語義信息。 語句對分類任務：該任務的實際

>>阅读原文<<