統計學習筆記（3）——k近鄰法與kd樹

        在使用k近鄰法進行分類時，對新的實例，根據其k個最近鄰的訓練實例的類別，經過多數表決的方式進行預測。因爲k近鄰模型的特徵空間通常是n維實數向量，因此距離的計算一般採用的是歐式距離。關鍵的是k值的選取，若是k值過小就意味着總體模型變得複雜，容易發生過擬合，即若是鄰近的實例點恰巧是噪聲，預測就會出錯，極端的狀況是k=1，稱爲最近鄰算法，對於待預測點x，與x最近的點決定了x的類別。k值得

>>阅读原文<<