基於ernie的語義連續性

主要是針對文本中上下文是否存在具有語義的連續性，如上文是：「我喜歡」，下文是：「從事自然語言工作」，從而判斷兩個句其實是連續的。主要思想是根據ernie模型對掩碼的訓練（詞而不是全爲字符如bert），當然也可以通過改造bert達到效果，如果掩蓋mask該詞，對該詞進行掩碼預測，計算該詞的損失值，如果該損失值較小，則說明語義是連續的。 一、業務框架 二、技術架構 三、參考文獻 https://git

>>阅读原文<<