語言模型評估標準

一、Evaluation 1、  熵 entropy l  熵（entropy）又稱自信息，self-information 描述一個隨機變量的不確定性的數量，熵越大，不確定性越大，正確估計其值的可能性越小。越不確定的隨機變量越需要大的信息量以確定其值。 p(x)表示x的分佈概率 l  相對熵（relativeentropy）又稱KL距離，Kullback-Leibler divergence 衡

>>阅读原文<<