Hoeffding不等式的認識以及泛化誤差上界的證明

在機器學習中我們知道學習方法的泛化能力往往是通過研究泛化誤差的概率上界所進行的，這個就簡稱爲泛化誤差上界。用直觀的理解，在有限的訓練數據中得到一個規律，認爲總體也是近似這個規律的，那麼就能用這個規律進行預測。比如一個大罐子裏裝滿了紅球和白球，各一半，我隨手抓了一把，然後根據這些紅球白球的比例預測整個罐子也是這樣的比例，這樣做不一定很準確，但結果總是近似的，而且如果抓出的球越多，預測結果也就越可信。

>>阅读原文<<