【機器學習實戰】極大似然法

http://baike.baidu.com/link?url=3Ej1VIItwWd35sXeoRWRhcJkJLCFvzPzNIoTkAfai8ZIS4Ppcch4_maQ25FjNCU1Eplsp4k3oPKLyv6VIsPhsq

1、

最大似然法是一種具備理論性的點估計法，基本思想是，當從模型整體隨機抽取N組樣本觀測值後，最合理的參數估計量應該使得從模型中抽取N組樣本觀測值的機率最大。

2、

離散型:

假如一個罐子，裏面有黑白兩種顏色的球，數目不知，比例不知。咱們想知道罐中黑白比例。不能把所有拿出。咱們隨機取出一個球，並記錄顏色。若100此實驗，70次白球。

設白球比例爲P，則黑球爲1-P。

P(Xi|M) = P(x1,x2,x3,...,x100 | M) = P(x1|M) * P(x2|M) * ... * P(x100|M) = P^70 * (1-P)^30

求Max{P^70 * (1-P)^30} ==> 對P求導=0

70*P^69*(1-P)^30 + P^70 * [-(1-P)^29 * 30] = 0 ===> P= 0.7

連續型：X~N(a,b^2)(正態分佈);a,b是未知參數，x1,x2,x3....xn來自X的一個樣本值。求a，b的極大似然估計值

X的機率密度函數爲：

f(x;a,b^2) = 1/Math.sqrt(2*pi)*b  *  e^{-1 / 2b^2   * (x-a)^2} 

似然函數爲：

L(a,b^2)=∏1/Math.sqrt(2*pi)*b  *  e^{-1 / 2b^2   * (x-a)^2}

求對數

lnL(a,b^2) = ln{1/Math.sqrt(2*pi)*b  *  e^{-1 / 2b^2   * (x1-a)^2}} + ... + ln{1/Math.sqrt(2*pi)*b  *  e^{-1 / 2b^2   * (xn-a)^2}}

==>n*(0-1/2 * ln(Math.sqrt(2*pi) * b)^2) + -1/(2b^2) * (x-a)^2

==>n*(0-1/2*ln2pi -1/2lnb^2) - 1/(2b^2) * ∑(xi-a)^2

==>-n/2*ln2pi - n/2 * lnb^2 - 1/(2b^2) * ∑(xi-a)^2

求偏導

lnL(a,b^2) 對a求偏導==>  - 1/(2b^2) * 和(xi - a) * 2 * (-1) = 0 ==> ∑(xi - a)  = 0 ==> 和xi = na ==>a=∑xi/n ==> 即a 等於 x樣本的均值

lnL(a,b^2) 對b^2求偏導==> -n / (2b^2) -  ∑(xi-a)^2 * (-1) * 1/(2b^2)^2 = 0 ==> n*b^2 - ∑(xi-a)^2 =0 ==> b^2 = 1/n * ∑(xi-a)^2

3、邏輯迴歸

邏輯函數：

g(z) = 1 / (1+e^(-z))

估計函數：

h(x) = g(theta^T * x) = 1 / [1 + e^(-theta^T * x)]

因爲二值分類很像二項分佈。

P(y=1|x;theta) = h(x)

P(y=0|x;theta) = 1 - h(x)

===> 由上式推導成通常表達式：

P(y|x;theta) = [h(x)]^y * [1- h(x)]^(1-y)

驗證 y = 0 => P(y=0|x;theta) = [h(x)]^0 *  [1- h(x)]^(1-0) = 1 * [1 - h(x)] = 1 - h(x)

驗證 y = 1 => P(y=1|x;theta) = [h(x)]^1 *  [1- h(x)]^(1-1) = h(x) * 1 = h(x)

似然估計函數：

L(theta) = ∏ P(y|x;theta)  = ∏  [h(x)]^y * [1- h(x)]^(1-y)

求對數

ln L(theta) = ∑{y*lnh(x) + (1-y)ln[1-h(x)]}

採用梯度上升法：