選擇與稀疏學習

子集搜索與評價
過濾式選擇
過濾式方法先對數據集進行特徵選擇，而後再訓練學習器，特徵選擇過程與後續學習器無關。這至關於先用特徵選擇過程對初始特徵進行「過濾」，再用過濾後的特徵來訓練模型。
Relief，是一種著名的過濾式特徵選擇方法。該方法設計了一個「相關統計量」來度量特徵的重要性。
顯然，Relief的關鍵是如何肯定相關統計量。「猜中近鄰」和「猜錯近鄰」。
Relief是爲二分類問題設計的，其擴展變體Relief-F能處理多分類問題。
包裹式選擇
與過濾式特徵選擇不考慮後續學習器不一樣，包裹式特徵選擇直接把最終將要使用的學習器的性能做爲特徵本身的評價準則。一方面，包裹式特徵選擇比過濾式特徵選擇更好；另外一方面，因爲再特徵選擇過程當中須要屢次訓練學習器，所以計算開銷一般很大。
LVW是一個典型的包裹式特徵選擇方法。
嵌入式選擇與L1正則化