Machine Learning系列--判別式模型與生成式模型

監督學習的任務就是學習一個模型，應用這一模型，對給定的輸入預測相應的輸出。這個模型的通常形式爲決策函數：
$$ Y=f(X) $$
或者條件機率分佈：
$$ P(Y|X) $$
監督學習方法又能夠分爲生成方法（generative approach）和判別方法（discriminative approach）。所學到的模型分別稱爲生成模型（generative model）和判別模型（discriminative model）。

生成方法由數據學習聯合機率分佈P(X,Y)，而後求出條件機率分佈P(Y|X)做爲預測的模型，即生成模型：
$$ P\left( {Y|X} \right) = \frac{{P\left( {X,Y} \right)}}{{P\left( X \right)}} $$
這樣的方法之因此稱爲生成方法，是由於模型表示了給定輸入$X$產生輸出$Y$的生成關係。典型的生成模型有：樸素貝葉斯法和隱馬爾可夫模型.

判別方法由數據直接學習決策函數$f(X)$或者條件機率分佈$P(Y|X)$做爲預測的模型，即判別模型。判別方法關心的是對給定的輸入$X$，應該預測什麼樣的輸出$Y$。典型的判別模型包括：$k$近鄰法、感知機、決策樹、邏輯斯諦迴歸模型、最大熵模型、支持向量機、提高方法和條件隨機場等.

在監督學習中，生成方法和判別方法各有優缺點，適合於不一樣條件下的學習問題。

• 生成方法的特色：生成方法能夠還原出聯合機率分佈$P(X,Y)$，而判別方法則不能；生成方法的學習收斂速度更快，即當樣本容量增長的時候，學到的模型能夠更快地收斂於真實模型；當存在隱變量時，仍能夠用生成方法學習，此時判別方法就不能用。
• 判別方法的特色：判別方法直接學習的是條件機率$P(Y|X)$或決策函數$f(X)$，直接面對預測，每每學習的準確率更高；因爲直接學習$P(Y|X)$或$f(X)$，能夠對數據進行各類程度上的抽象、定義特徵並使用特徵，所以能夠簡化學習問題。

 

參考資料：

1.  李航. 《統計學習方法》