統計自然語言處理書籍閱讀心得四

1:困惑度： 我們通常用困惑度（perplexity）來代替交叉熵 衡量語言模型的好壞。同樣，語言模型設計的任務就是尋找困惑度最小的模型，使其最接 近真實語言的情況。在自然語言處理中，我們所說的語言模型的困惑度 通常是指語言模型對於測試數據的困惑度。一般情況下將所有數據分成 兩部分，一部分作爲訓練數據，用於估計模型的參數；另一部分作爲測 試數據，用於評估語言模型的質量。 2：噪聲信道模型 其目標就

>>阅读原文<<