3、K近鄰法

（1）思想 假定給定一個訓練數據集，其中的實例類別已定。分類時，對新的實例，根據其k個最近鄰的訓練實例的類別，通過多數表決等方式進行預測。三個基本要素是：k值的選擇、距離度量和分類決策規則。 （2）k值的選擇 在模型中，k值較小容易造成模型複雜，發生過擬合，而較大意味着欠擬合，通常採用交叉驗證法來選取最優的k值。在分類決策時，採用多數表決規則，等價於經驗風險最小化。 （3）構造kd樹 kd樹是一種

>>阅读原文<<