天然語言處理之數據平滑方法

在天然語言處理中，常常要計算單詞序列（句子）出現的機率估計。可是，算法訓練的時候，預料庫中不可能包含全部可能出現的序列，所以爲了防止對訓練樣本中爲出現的新序列機率估計值爲零，人們發明了很多能夠改善估計新序列出現的機率算法，即數據的平滑。最多見的數據平滑算法包括以下幾種：算法 Add-one (Laplace) smoothing微信 Add-k smoothing測試 Backoff回退法優化 I

>>阅读原文<<