數據挖掘複習筆記---04.2分類問題之 KNN

分類問題之 KNN

簡介

• lazy learning, 訓練階段僅僅保存樣本, 沒有顯式的學習過程, 待收到測試樣本後再進行處理

  
  

• 三要素: k值的選擇, 距離度量(街區, 歐式, 閔可夫斯基), 分類決策規則(majority vote)

  
  

• 分類步驟

  1.計算測試點到訓練集各個點的距離
  2.找出距離最小的 k 個點
  3.投票法得出類別

  
  

• k 過小, 則對噪聲敏感; k 太大, 則可能包含太多其餘類別的點

  
  
  

• 屬性中須要歸一化, 防止某一屬性在計算距離的時候占主導地位

  
  

優勢

• 複雜度較低
• 效率高
• 很是適用於簡單數據集的分類
• 抗噪，對噪聲魯棒
• 選取最優決策樹是NP徹底問題

  
  

其餘

• PEBLS: Parallel Examplar-Based Learning System (Cost & Salzberg)