knn算法與kd樹實現

最近鄰法和k-近鄰法 　　下面圖片中只有三種豆，有三個豆是未知的種類，如何判定他們的種類？ 　　提供一種思路，即：未知的豆離哪種豆最近就認爲未知豆和該豆是同一種類。由此，我們引出最近鄰算法的定義：爲了判定未知樣本的類別，以全部訓練樣本作爲代表點，計算未知樣本與所有訓練樣本的距離，並以最近鄰者的類別作爲決策未知樣本類別的唯一依據。但是，最近鄰算法明顯是存在缺陷的，比如下面的例子：有一個未知形狀(圖中

>>阅读原文<<