指數分佈族

指數族分佈是一大類分佈，基本形式爲：

分佈函數框架中的h(x),η(θ),T(x)和A(θ)並非任意定義的，每一部分都有其特殊的意義。
θ是天然參數(natural parameter)，一般是一個實數；
h(x)是底層觀測值（underlying measure）；
T(x)是充分統計量（sufficient statistic）；
A(θ)被稱爲對數規則化（log normalizer）。
---------------------

T(x)是x的充分統計量（能爲相應分佈提供足夠信息的統計量）

爲了知足歸一化條件，有：

能夠看出，當T(x)=x時，e^A(theta)是h(x)的拉普拉斯變換。

 指數族分佈的例子：

伯努利分佈轉換成指數族分佈形式：

 單變量高斯分佈的：

多變量高斯分佈的：

 

A（theta）的一階導：

A（theta）的二階導：

說明A（theta）是凸函數

 

計算log likehood，而後對theta求導，可得

而A的二次導時大於零的，因此A的一次導是增函數，上述方程最多隻有一個解。

 

共軛先驗：

似然估計：

咱們但願：

好比：

一些例子：