數據挖掘複習筆記---04.4分類問題之 Logistic Regression

分類問題之 Logistic Regression

線性迴歸簡介

• 線性模型

  
  

• 向量形式

  
  

• 可解釋性

  w 能夠理解爲特徵的權重

  
  

• 目標

  
  
  

對數概率迴歸, Logistic Regression

• 訓練過程(梯度降低)

  
  

• 分類預測步驟

  P(Y=1|x) = e^z / (1 + e^z)
  P(Y=0|x) = 1 / (1 + e^z)
  z = wx

  
  

正則化

與 Naive Bayes 的區別

• NB 假設特徵相互獨立

  
  

• LR 是線性分類器

  
  

• 訓練方式不同