K近鄰算法所面臨的維數災難問題

K近鄰算法的基本思想 K近鄰算法是一種常用的監督學習方法，其原理非常簡單： 給定測試樣本，基於某種距離找出訓練集中與其最靠近的K個訓練樣本，然後基於這K個鄰居的信息來進行預測。 兩個基本要素：1某種距離的概念 2 彼此相近的點具有相似性質的假設 k近鄰算法所面臨的維數災難問題 但是隨着特徵維數的增大，K近鄰算法的效果會持續變差，這是因爲高維空間過於巨大，高維空間內的點根本不會表現得彼此鄰近。 觀察

>>阅读原文<<