詳細介紹基於N-gram語言模型的原理--以kenlm爲例

常用的N-gram訓練工具有SRILM、IRSTLM、BerkeleyLM和KenLM等。這幾種工具所 用的算法思想基本一致，只是在實現細節上有所不同，所以我們只需理解其中一個訓 練工具即可。本文以KenLM(號稱速度最快，佔用內存最少)作爲訓練工具，對基於N-gram的過程進行詳細介紹，所用的平滑技術是Modified Kneser-ney smoothing，因爲它是當 前一個標準的、廣泛採用

>>阅读原文<<