語言模型評價指標 bpc(bits-per-character)和困惑度ppl(perplexity)

首先簡單介紹下語言模型的標準評價指標： 1、 混淆度 (Perplexity) 用來衡量一個語言模型在未見過的的字符串S上的表現。對於一個長度爲N的字符串S，語言模型給出概率P(S)，對應的混淆度 (Perplexity)爲 2^{-(1/N) log2 P(S)}。其中字符串長度單位可以是字符 (characters) 也可以是單詞 (words). 2、 bits-per-character

>>阅读原文<<