語言模型的評估-困惑度

語言模型評價測試 語言模型構造完成後，如何肯定好壞呢？ 目前主要有兩種評價方法：spa 實用方法：經過查看該模型在實際應用（如拼寫檢查、機器翻譯）中的表現來評價，優勢是直觀、實用，缺點是缺少針對性、不夠客觀； 理論方法：迷惑度/困惑度/混亂度（preplexity），其基本思想是給測試集的句子賦予較高几率值的語言模型較好,當語言模型訓練完以後，測試集中的句子都是正常的句子，那麼訓練好的模型就是在測

>>阅读原文<<