Term Weighting

對文本分詞後，接下來需要對分詞後的每個term計算一個權重，重要的term應該給與更高的權重。舉例來說，「什麼產品對減肥幫助最大？」的term weighting結果可能是: 「什麼 0.1，產品 0.5，對 0.1，減肥 0.8，幫助 0.3，最大 0.2」。Term weighting在文本檢索，文本相關性，核心詞提取等任務中都有重要作用。我們可以把這個拿來進行對我們構建的詞向量進行加權。 T

>>阅读原文<<