生成模型與判別模型

監督學習的任務就是學習一個模型，應用這個模型，對給定的輸入預測相應的輸出。這個模型通常爲決策函數：Y=f(X) 或 條件機率分佈：P(Y|X)。

監督學習的學習方法能夠分爲生成方法（generative approach）和判別方法（discriminative approach）。所學到的模型分別叫生成模型和判別模型。

 

生成方法

定義

由數據學習聯合機率分佈P(X,Y), 而後由P(Y|X)=P(X|Y)*P(Y)/P(X)求出機率分佈P(Y|X)。該方法表示了給定輸入X產生輸出Y的生成關係。

典型模型

樸素貝葉斯方法、隱馬爾可夫模型

特色

生成方法能夠還原出聯合機率分P(X,Y),而判別方法不能；生成方法的學習收斂速度更快，當樣本容量增長的時候，學到的模型能夠更快的收斂於真實模型；當存在隱變量時，仍能夠利用生成方法學習，此時判別方法不能用。

註釋

當咱們找不到引發某一現象的緣由的時候，咱們就把這個在起做用，可是，沒法肯定的因素，叫「隱變量」

 

判別方法

 定義

由數據直接學習決策函數Y=f(X)或條件機率分佈P(Y|X)做爲預測模型，即判別模型。判別方法關心的是對於給定的輸入X，應該預測什麼樣的輸出Y。

典型模型

k近鄰法、感知機、決策樹、邏輯斯諦迴歸模型、最大熵模型、支持向量機、提高方法、條件隨機場

特色

判別方法直接學習的是決策函數Y=f(X)或條件機率分佈P(Y|X)，直接面對預測，每每學習準確率更高；因爲直接學習P(Y|X)或f(X)，能夠對數據進行各類程度上的抽象、定義特徵並使用特徵，所以能夠簡化學習問題。