貝葉斯決策論

貝葉斯決策論也叫作貝葉斯斷定準則，英文是 Bayes decision rule。

它核心思想是：指望風險最小化能夠轉化爲後驗分佈最大化

指望風險的公式是：
\[R_{exp}(f) = E[L(Y,f(X))] = \int_{x \times y} L(y,f(x))P(x,y) dxdy\]其中\(L\)是損失函數，\(P(x,y)\)是\(x\)和\(y\)的聯合機率分佈。

損失函數取0-1損失：
\[L(Y,f(X))= \left\{ \begin{aligned} 0, & \ \ f(X)=Y \\ 1, & \ f(X) \neq Y \end{aligned} \right.\]

能夠將指望風險函數轉化，將上面的Y用條件機率展開：
\[R_{exp}(f) = E_X \sum_{k=1}^{K} [L(c_k,f(X))] P(c_k |X)\]這裏\(c_k\)是\(y\)能夠取得的各類值.

爲了使得整體的風險最小，那麼要使得每個取值\(X=x\)的損失最小，結合0-1損失可得：
\[\begin{align*} f(x) &= \arg \min \limits_y \sum_{k=1}^{K} L(c_k,y) P(c_k |X=x) \\ & =\arg \min \limits_y \sum_{k=1}^{K}P(y \neq c_k|X = x) \\ & =\arg \min \limits_y (1-P(y = c_k|X = x)) \\ & = \arg \max \limits_y P(y = c_k|X = x) \end{align*}\]

這樣，指望風險最小化就轉化爲後驗機率最大化：
\[f(x) = \arg \max \limits_{c_k} P(c_k|X = x)\]
這樣咱們能夠從後驗機率最大化的角度來對模型進行分析，直接建模來求解\(P(c|x)\)的模型叫作判別式模型，直接對聯合機率\(P(c,x)\)進行建模，而後求解\(P(c|x)\)的模型叫作生成式模型。

參考：李航《統計學習方法》