語言模型評估

轉自：http://www.cnblogs.com/rocketfan/p/4917588.html 說明：本身在看代碼的時候，計算Perplexity的時候，都是經過交叉熵損失函數求指數得來的，一直很困惑，交叉熵不是用來衡量兩個分佈的差別程度，而Perplexity是計算一句話的機率，感受二者相差很大，直到看到博主寫的這篇博客，才恍然大悟，很是感謝博主。html 總結：本質上perplexity

>>阅读原文<<