語義相似度、句向量生成超強模型之SBERT《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》

1 前言 隨着2018年底Bert的面世，NLP進入了預訓練模型的時代。各大預訓練模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等層數不窮。但是幾乎大部分的這些模型均不適合語義相似度搜索，也不適合非監督任務，比如聚類。而解決聚類和語義搜索的一種常見方法是將每個句子映射到一個向量空間，使得語義相似的句子很接近。說到這，可能有的人會嘗試將整個句子輸入預訓

>>阅读原文<<