生成模型與判別模型

概念

監督學習方法能夠分爲生成方法(generative approach)和判別方法(discriminative approach),學習到的模型對應地可分爲生成模型(generative model)和判別模型(discriminative model).生成模型的計算過程爲，先根據既有數據學習出聯合機率分佈\(P(X,Y)\),而後再根據輸入特徵的分佈\(P(X)\)來學習出條件機率分佈，表達式爲：

\[P(Y|X) = \frac{P(X,Y)}{P(X)} \tag{1} \]

而判別模型則是求出決策函數以後，根據決策函數輸出對應的結果，也可直接學習出條件機率分佈來預測，可是，判別模型不會去學習數據的聯合機率分佈.

\[Y = f(X) \tag{2} \]

特色

生成模型描述了給定輸入\(X\)產生輸出\(Y\)的生成關係，特色：

• 能夠還原出數據的聯合機率分佈
• 學習收斂速度比較快，即在樣本容量增長的時候，模型能夠更快地收斂於真實的模型
• 存在隱變量時，仍然能夠用生成方法來學習

判別模型可以直接用決策函數或者條件機率分佈來預測結果，可是不學習數據的聯合機率分佈，特色：

• 不能還原數據的聯合機率分佈
• 學習的準確率比較高
• 能對數據進行各類程度上的抽象，定義特徵並使用特徵，能夠簡化問題
• 存在隱變量時，不能使用判別模型

典型模型

生成模型：

• 樸素貝葉斯法
• 隱馬爾可夫模型

判別模型：

• k近鄰法
• 支持向量機
• 感知機
• 決策樹
• 邏輯斯諦迴歸模型
• 最大熵模型
• 提高方法
• 條件隨機場