預訓練模型的小注意點

我們在進行一些nlp任務時，一般需要得到句子的vec編碼，一般會試一試bert系列，但是這是有前提的，要fintune! 要fintune！ 如果想直接「拿來主義」，直接加載公佈的pretrain模型來獲得vec編碼，可能並達不到我們的預期。 這裏做了兩個實驗 一個使用bert的實驗結果，這是網上大多數的例子，可以看到「啦啦啦啦啦啦」和「天空爲什麼是藍色的」相似度（餘弦相似度）依然很高 一個是百度

>>阅读原文<<