關於挖掘新詞方法的一點點思考

新詞挖掘的背景 分詞做爲NLP數據預處理的前提在NLP領域的地位一直很重要，在當今預訓練遷移模型訓練的時代，分詞依然發揮着重要做用，先對語句進行分詞，而後分詞後變成編號和NLP的嵌入優化參數取對應的嵌入，固然也能夠按照字和字形聲調和字形圖像特徵輸入NLP模型進行訓練，可是這明顯會讓模型效率降低。因此討論分詞很是重要。那麼分詞怎麼作呢？就是在詞典裏找到對應的最長的詞彙，做爲一個新詞，進行分詞。可是詞

>>阅读原文<<