關於Hoeffding不等式及泛化誤差上界

       在監督學習中，我們通常會定義一個目標函數來衡量模型的好壞，定義一個風險函數從而計算模型預測結果與真實值之間的誤差是一種慣用手段。一般而言，我們將考慮訓練集上的訓練誤差和測試集上的泛化誤差，事實上，訓練誤差的持續降低並不是那麼令人愉快，因爲這可能是「過擬合」在背後操縱着一切。總的來說，只有泛化誤差的降低才能真的讓人感覺美滋滋。        如果給我們一個模型，我們該從什麼方面去降低泛

>>阅读原文<<