困惑度(perplexity)的基本概念及比較多種模型下的計算（N-gram, 主題模型/LDA, 神經網絡/RNN）

發現網絡上流傳的關於困惑度(perplexity)大多數都是利用了N-gram或者主題模型的例子來闡述的。但是現在這個年代來學習這個指標的人多半都是想研究神經網絡的，而兩者的對困惑度的計算方法又很不同，這就不能不讓人對「困惑度」感到「困惑」了。本人雖然才疏學淺，還是斗膽在這裏嘗試寫一篇文章，試圖用簡潔的方式來梳理清楚其中的困惑。 困惑度的基本定義 首先，困惑度是用來評價語言模型好壞的指標。語言模型

>>阅读原文<<