判別式模型與生成式模型

目錄

一．    簡介    1

二．    對比    1

三．    兩者所包含的算法    2

3.1    生成式模型    2

3.2    判別式模型    2

 

判別式模型 vs. 生成式模型

1. 簡介

   生成式模型（generadtive model）會對的聯合分佈進行建模，而後經過貝葉斯公式求得條件機率（在x發生的條件下y發生的機率），

   最後選擇使得取得最大的。

   判別式模型（discriminative model）則會對進行建模。

2. 對比

   下面簡單比較下生成式模型的和判別式模型的優缺點。

   本質區別是建模對象不一樣。

   1. 通常來講，生成式模型都會對數據的分佈作必定的假設，好比樸素貝葉斯會假設在給定的條件下各個特徵之間是條件獨立的 ：

      條件獨立性：

      給定第三個事件，若是,則稱是條件獨立事件。

      若關於事件條件獨立，則有如下一些理解：

      1. 事件的發生，使原本可能不獨立的事件變得獨立起來
      2. 事件的出現或發生，解開了的依賴關係
      3. 若關於條件獨立，則

         證實：
         

   當數據知足這些假設時, 生成式模型一般須要較少的數據就能取得不錯的效果, 可是當這些假設不成立時, 判別式模型會獲得更好的效果.

   1. 生成式模型最終獲得的錯誤率會比判別式模型高, 可是其須要更少的訓練樣本就可使錯誤率收斂
   2. 生成式模型更容易擬合, 好比在樸素貝葉斯中只須要計下數就能夠, 而判別式模型一般都須要解決凸優化問題.
   3. 當添加新的類別時, 生成式模型不須要所有從新訓練, 只須要計算新的類別的聯合分佈便可, 而判別式模型則須要所有從新訓練.
   4. 生成式模型能夠更好地利用無標籤數據(好比DBN), 而判別式模型不能夠.
   5. 生成式模型能夠生成特徵變量，由於生成式模型是對進行建模。而判別式模型不能夠生成
   6. 生成模型支持無指導訓練。
   7. 只有生成模型能檢測異常值。因爲生成模型徹底學習了全部的分佈，因此它能夠用來檢測某個值是否異常：P(X)是否過小。

       

3. 兩者所包含的算法

生成模型是模擬這個結果是如何產生的,而後算出產生各個結果的機率

判別模型是發現各個結果之間的不一樣,不關心產生結果的過程

1. 生成式模型
   1. 樸素貝葉斯
   2. K緊鄰（KNN）
   3. 混合高斯模型
   4. 隱馬爾科夫模型（HMM）
   5. 貝葉斯網絡
   6. Sigmoid Belief Networks
   7. 馬爾科夫隨機場（Markov Random Fields）
   8. 深度信念網絡（DBN）
2. 判別式模型
   1. 線性迴歸（Linear Regression）
   2. 邏輯斯蒂迴歸（Logistic Regression）
   3. 神經網絡（NN）
   4. 支持向量機（SVM）
   5. 高斯過程（Gaussian Process）
   6. 條件隨機場（CRF）
   7. CART(Classification and Regression Tree)