離散隨機分佈

離散隨機分佈

1.Bernoulli分佈：

兩點分佈或者0-1分佈。bernoulli試驗成功，則Bernoulli隨機變量X取值爲1，不然X爲0。記試驗成功機率爲θ，即：
P(X=1)=θ   P(X=0)=1−θ   θϵ[0,1]
稱X服從參數爲θ的Bernoulli分佈，記爲X~Ber(θ)

p(x|θ)={θ   if x = 11−θ   if x = 0=θx(1−θ)x,  θϵ[0,1]

Bernoulli均值：
μ=1∗θ+0∗(1−θ)=θ
Bernoulli方差：
σ2=E(x2)−μ2=12∗θ+02∗(1−θ)−θ2=θ−θ2=θ(1−θ)

兩類分類問題：y|x服從Bernoulli分佈，即類別標籤y取值爲0或1的離散隨機變量

2.二項(Binomial)分佈：

在拋擲硬幣試驗中，若只進行一次試驗，則爲Bernoulli試驗。若進行n次試驗，則硬幣正面向上的數目X知足二項分佈，記爲: x~ Bin(n,θ)

p(x|n,θ)=Cxnθx(1−θ)n−x=n!(n−x)!x!θx(1−θ)n−x
Binomial均值：

已知：
xCxn=nCx−1n−1

μ=0∗C0nθ0(1−θ)n+1∗C1nθ1(1−θ)n−1+...+k∗Cknθk(1−θ)n−k+...+n∗Cnnθn(1−θ)0=1∗C1nθ1(1−θ)n−1+...+k∗Cknθk(1−θ)n−k+...+n∗Cnnθn(1−θ)0=n∗(C0n−1θ1(1−θ)n−1+...+Ck−1n−1θk(1−θ)n−k+...+Cn−1n−1θn(1−θ)0)=nθ(C0n−1θ0(1−θ)n−1+...+Ck−1n−1θk−1(1−θ)n−k+...+Cn−1n−1θn−1(1−θ)0)=nθ(1−θ+θ)n−1=nθ

Binomial方差：
已知：
x2Cxn=nCx−1n−1+n(n−1)Cx−2n−2

σ2=E(x2)−μ2

E(x2)=∑ni=0i2Cinpi(1−p)n−i=C1np(1−p)n−1+∑ni=2nCi−1n−1pi(1−p)n−i+∑ni=2(n−1)nCi−2n−2pi(1−p)n−i=np(1−p)

3.多項分佈(multinomial)：

假設拋有K個面的的骰子，其中拋擲到第j面的機率爲 θj , 令 θ=(θ1,θ2,...,θk)

若一共拋擲n次， x=(x1,...,xn) 爲隨機變量，其中 xk 是拋擲到第k面的次數，則x的分佈爲多項分佈，即 x Mu(n,θ)

p(x|n,θ)=n!x1!...xk∏Kk=1θxkk

當n=1時爲分類分佈，Categorical 分佈， x Cat(θ)