NLG之語言模型

語言模型演化 1.N-Gram 概率語言模型 需要做平滑處理，因爲語料不能覆蓋所有情況，否則概率都爲0，無法生成句子（數據稀疏問題） 2.基於NN（神經網絡） 與N-Gram模型很像 是矩陣因子分解（Matrix Factorization）的進化 相比N-Gram減少了參數量 3.基於RNN（循環神經網絡） 可以依賴更長的信息 減少了參數量 4.Class-based Language Mode

>>阅读原文<<