《統計學習方法》筆記六（1） 邏輯斯諦迴歸

本系列筆記內容參考來源爲李航《統計學習方法》

邏輯斯諦迴歸模型

邏輯斯諦分佈

二項邏輯斯諦迴歸模型

 

從對數概率角度理解模型

考察邏輯斯諦迴歸模型的特色，引入LR模型的定義：

LR模型表達式爲參數化的邏輯斯諦函數，（默認μ=0，γ=1），即

上式表示事件結果y=1的機率取值。x∈Rⁿ⁺¹，y∈{1，0}。θ∈Rⁿ⁺¹是權值向量，其中ω中包含偏置項，即ω=（ω₀，ω₁，...，ω_n），x = （1，x₁，x₂，...，x_n）

一個事件發生的概率（odds）指該事件發生的機率與不發生的機率的比值，可表示爲p/(1-p)，對數概率/logit函數是：

從函數映射角度理解邏輯斯諦模型

迴歸預測

機率解釋

多項邏輯斯諦迴歸