Task 語言模型

文本預處理 常見的處理的方法： 讀入文本 分詞 建立字典 從詞的序列轉換爲索引的序 一般用分詞工具來進行分詞和詞頻統計。不做贅述 語言模型 一段自然語言文本可以看作是一個離散時間序列，給定一個長度爲 T 的詞的序列 w1,w2,…,wT ，語言模型的目標就是評估該序列是否合理。 統計語言模型 要判斷一段文字是不是一句自然語言，可以通過確定這段文字的概率分佈來表示其存在的可能性。 語言模型中的詞是有

>>阅读原文<<