Pattern Recognition and Machine Learning: Chapter 01習題詳解

PRML_Exercises

Pattern Recognition and Machine Learning習題中文詳解

歡迎討論題目（我把本身作的過程貼出來也是爲了更方便討論），禁止一切形式的轉載。

關於排版，實話說我也想把公式排得舒服好看一些，奈何着實費力，這着實不太討喜，見諒。

Chapter 1

1.1

可以使得式(1.2)給出的偏差函數最小的參數 $\mathbf{w}=\{w_i\}$就是使得偏差爲 $0$的參數，那麼就知足
$\sum_{j=0}^{M}w_jx_n^j=t_n$
而咱們要作的這道證實題的右式
$T_i=\sum_{n=1}^{N}(x_n)^it_n$
直接將上述咱們已知的 $t_n$代入，得
$T_i=\sum_{n=1}^N[(x_n)^i\sum_{j=0}^{M}w_j(x_n)^j]$
又因爲 $(x_n)^i$不含有與 $j$相關的係數，因此能夠將其放入後面的求和項，即
$T_i=\sum_{n=1}^N\sum_{j=0}^{M}(x_n)^iw_j(x_n)^j$
再互換一下求和順序
$T_i=\sum_{j=0}^{M}\sum_{n=1}^N(x_n)^iw_jx_n^j=\sum_{j=0}^{M}\sum_{n=1}^N(x_n)^{i+j}w_j$
其中就能夠看到 $\sum_{n=1}^N(x_n)^{i+j}$就是題目中的 $A_{ij}$了，從而得證。

1.2

已知
$\widetilde{E}(\mathbf{w})=\frac{1}{2} \sum_{n=1}^{N}\left\{y\left(x_{n}, \mathbf{w}\right)-t_{n}\right\}^{2}+\frac{\lambda}{2}\|\mathbf{w}\|^{2}$
其中 $\|\mathbf{w}\|^{2} \equiv \mathbf{w}^{\mathrm{T}} \mathbf{w}=w_{0}^{2}+w_{1}^{2}+\ldots+w_{M}^{2}$，這裏提一下正則項裏面的 $w_0^2$，做者說一般來說這一項要麼不放正則項中，要麼使用另外一個 $\lambda$對其進行大小控制，不過我們這裏爲了公式的推導方便就不作特殊處理，且讓它在這個正則項中。既然題目中要求這個偏差函數 $\widetilde{E}(\mathbf{w})$最小化，也就意味着該式對各個參數 $w$的導數均爲 $0$，由此可得：
$\frac{\mathrm{d}\widetilde{E}(\mathbf{w})}{\mathrm{d}w_i}=\frac{1}{2}\sum_{n=1}^{N}\{2[\sum_{j=0}^{M}w_j(x_n)^j-t_n](x_n)^i\}+\lambda w_i=0$
因此
$\sum_{n=1}^{N}\{\sum_{j=0}^{M}[(x_n)^{i+j}w_j]-(x_n)^it_n]\}+\lambda w_i=\sum_{n=1}^{N}\sum_{j=0}^{M}\{(x_n)^{i+j}w_j\}-\sum_{n=1}^{N}\{(x_n)^{i}t_n+\frac{\lambda w_i}{N}\}=0$
因此能夠看到，題目1.1中的式子基本均可以保持不變，只需將 $T_i$修改成 $T_i=\sum_{n=1}^{N}\{(x_n)^{i}t_n+\frac{\lambda w_i}{N}\}$。

Tips：上面求導的過程使用了複合函數的求導。

1.3

已知 $p(B=r)=0.2$， $p(B=b)=0.2$， $p(B=g)=0.6$，同時， $p(F=a|B=r)=0.3$， $p(F=o|B=r)=0.4$， $p(F=l|B=r)=0.3$， $p(F=a|B=b)=0.5$， $p(F=o|B=b)=0.5$， $p(F=l|B=b)=0$， $p(F=a|B=g)=0.3$， $p(F=o|B=g)=0.3$， $p(F=l|B=g)=0.4$。第一小問說，抽一次抽出蘋果的機率是多少，可經過sum rule和product rule求出，即：
$p(a)=p(a,r)+p(a,b)+p(a,g)=p(a|r)p(r)+p(a|b)p(b)+p(a|g)p(g)=0.34$
第二小問說，在已知抽出的結果是橘子（orange）的狀況下，從綠色（green）盒子中抽出這個橘子的機率是多大。這就是一個很典型的由果推因的貝葉斯公式題，至關於求 $p(B=g|F=o)$，根據貝葉斯公式，可得 $p(g|o)=\frac{p(o|g)p(g)}{p(o)}$，其中分母能夠按照第一小問的方式求出，分子中各項均爲已知條件，求得 $p(B=g|F=o)=0.5$。

1.4

已知 $x=g(y)$， $p_y(y)=p_x(x)|\frac{\mathrm{d}x}{\mathrm{d}y}|=p_x(x)|g^{\prime}(y)|$，對於兩個機率分佈而言，可以取到最大值的位置知足導數爲 $0$，所以 $\frac{\partial p_y(y)}{\partial y}=\frac{\partial p_x(x)|g^{\prime}(y)|}{\partial y}=0$，題目中假設 $x=g(y)$爲線性函數，所以咱們假設 $x=g(y)=ay+b$，因此能夠獲得 $\frac{\partial p_y(y)}{\partial y}=\frac{\partial p_x(x)|a|}{\partial x}\frac{\partial x}{\partial y}=\frac{\partial p_x(x)}{\partial x}|a|^2=0$，因爲 $|a|^2 > 0$，（ $a$的絕對值不該該爲 $0$，不然並不能稱其爲變換了），因此使得 $\frac{\partial p_x(x)}{\partial x}=0$的狀況下， $\frac{\partial p_y(y)}{\partial y}$也等於 $0$，也就是說在 $x$取值使得 $p_x(x)$最大的位置，這個 $x$對應的 $y$也是使得 $p_y(y)$最大的位置，而 $x=g(y)=ay+b$一樣知足兩變量之間的線性關係。

1.5

式(1.38)爲 $\operatorname{var}[f]=\mathbb{E}\left[(f(x)-\mathbb{E}[f(x)])^{2}\right]$，所以 $\operatorname{var}[f]=\mathbb{E}\left[(f(x)-\mathbb{E}[f(x)])^{2}\right]=\mathbb{E}[f(x)^2-2f(x)\mathbb{E}[f(x)]+(\mathbb{E}[f(x)])^2]$，因此 $\operatorname{var}[f]=\mathbb{E}[f(x)^2]-2(\mathbb{E}[f(x)])^2+(\mathbb{E}[f(x)])^2]=\mathbb{E}\left[f(x)^{2}\right]-\mathbb{E}[f(x)]^{2}$。

1.6

根據式(1.41)可知， $\begin{aligned} \operatorname{cov}[x, y] &=\mathbb{E}_{x, y}[x y]-\mathbb{E}[x] \mathbb{E}[y] \end{aligned}$。設變量 $x$， $y$獨立同分布，對應的分佈分別爲 $p(x)$與 $p(y)$，則 $\mathbb{E}_{x, y}[x y]=\iint xyp(xy)\mathrm{d}x\mathrm{d}y=\iint xyp(x)p(y)\mathrm{d}x\mathrm{d}y= \int yq(y)\int xp(x)\mathrm{d}x\mathrm{d}y$，因爲第二個積分與第一個積分項無關（相互獨立，二者之間沒有函數關係），所以能夠拎出來，得 $\mathbb{E}_{x, y}[x y]=\int xp(x)\mathrm{d}x\int yq(y)\mathrm{d}y=\mathbb{E}[x]\mathbb{E}[y]$，因此在兩變量互相獨立的狀況下， $\begin{aligned} \operatorname{cov}[x, y] &=\mathbb{E}_{x, y}[x y]-\mathbb{E}[x] \mathbb{E}[y] \end{aligned}=0$。

1.7

令 $x=r \cos \theta$， $y=r\sin \theta$，知足 $x^2+y^2=r^2$且 $r\ge 0$，則原來的積分式能夠寫成 $I^{2}=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \exp \left(-\frac{1}{2 \sigma^{2}} x^{2}-\frac{1}{2 \sigma^{2}} y^{2}\right) \mathrm{d} x \mathrm{d} y=\int_o^{2 \pi}\int_0^{\infty}\exp(-\frac{1}{2\sigma^2}r^2)r\mathrm{d}r\mathrm{d}\theta$，使用 $u=r^2$代換，

因此 $I^{2}=\frac{1}{2}\int_o^{2 \pi}\int_0^{\infty}\exp(-\frac{1}{2\sigma^2}u)\mathrm{d}u\mathrm{d}\theta=\frac{1}{2}\int_{0}^{2\pi}(-2\sigma^2)\exp(-\frac{1}{2\sigma^2}u)|_0^{\infty}\mathrm{d}\theta=2\pi\sigma^2$，因此 $I=\left(2 \pi \sigma^{2}\right)^{1 / 2}$。

1.8

式(1.46)爲 $\mathcal{N}\left(x | \mu, \sigma^{2}\right)=\frac{1}{\left(2 \pi \sigma^{2}\right)^{1 / 2}} \exp \left\{-\frac{1}{2 \sigma^{2}}(x-\mu)^{2}\right\}=p(x-\mu)$，即要證實 $\int_{-\infty}^{+\infty}x\frac{1}{\left(2 \pi \sigma^{2}\right)^{1 / 2}} \exp \left\{-\frac{1}{2 \sigma^{2}}(x-\mu)^{2}\right\}\mathrm{d}x=\int_{-\infty}^{\infty}xp(x-\mu)\mathrm{d}x=\mu$。先拋開該式不談，咱們須要換元，且必須手頭拿到一個已知的東西，那麼咱們首先有 $\int_{-\infty}^{+\infty}(x-\mu)\frac{1}{\left(2 \pi \sigma^{2}\right)^{1 / 2}} \exp \left\{-\frac{1}{2 \sigma^{2}}(x-\mu)^{2}\right\}\mathrm{d}(x-\mu)=0$，這個比較簡單，根據奇函數積分爲 $0$可得，而後咱們把這個式子在 $(x-\mu)$這裏展開，能夠看到即 $\int_{-\infty}^{\infty}xp(x-\mu)\mathrm{d}(x-\mu)-\mu\int_{-\infty}^{\infty}p(x-\mu)\mathrm{d}(x-\mu)=\int_{-\infty}^{\infty}xp(x-\mu)\mathrm{d}x-\mu=0$，因此 $\int_{-\infty}^{\infty}xp(x-\mu)\mathrm{d}x=\mu$，亦即 $\mathbb{E}[x]=\int_{-\infty}^{\infty} \mathcal{N}\left(x | \mu, \sigma^{2}\right) x \mathrm{d} x=\mu$。

第二小問要求驗證式(1.50)的正確性。在題目1.7中咱們獲得 $\int_{-\infty}^{\infty} \exp \left(-\frac{1}{2 \sigma^{2}} (x-\mu)^{2}\right) \mathrm{d} x = \left(2 \pi \sigma^{2}\right)^{1 / 2}$，在等式兩邊對 $\sigma^2$求導可得 $\int_{-\infty}^{\infty}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\}\frac{2(x-\mu)^2}{(2\sigma^2)^2}\mathrm{d}x=\frac{\pi}{(2\pi \sigma)^{1/2}}$，將式子整理後爲： $\int_{-\infty}^{\infty}\frac{1}{(2\pi\sigma^2)^{1/2}}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\}(x-\mu)^2\mathrm{d}x= \sigma^{2}=\mathbb{E}[(x-\mu)^2]$，又由於 $\mathbb{E}[(x-\mu)^2]=\mathbb{E}[x^2-2\mu x+\mu^2]=\mathbb{E}[x^2]-2\mu\mathbb{E}[x]+\mu^2$，而咱們在上一小問已經知道 $\mathbb{E}[x]=\mu$，因此所有帶進去可得， $\sigma^2=\mathbb{E}[x^2]-\mu^2$，因此 $\mathbb{E}[x^2]=\sigma^2+\mu^2$，從而證得式(1.50)。這樣一來，式(1.51)也就瓜熟蒂落地成立了。

1.9

單元高斯分佈的極大值能夠經過對其機率分佈函數求導獲得極值對應的座標 $x=\mu$，不作贅述。

多元高斯分佈函數爲 $\mathcal{N}(\mathbf{x} | \boldsymbol{\mu}, \mathbf{\Sigma})=\frac{1}{(2 \pi)^{D / 2}} \frac{1}{|\mathbf{\Sigma}|^{1 / 2}} \exp \left\{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}} \mathbf{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right\}$，一樣進行求導，這裏要用到矩陣的求導法則，得 $\frac{\partial\mathcal{N}(\mathbf{x} | \boldsymbol{\mu}, \mathbf{\Sigma})}{\partial \mathbf{x}}=-\frac{1}{2}\mathcal{N}(\mathbf{x} | \boldsymbol{\mu}, \mathbf{\Sigma})\nabla_{\mathbf{x}}\left\{(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right\}=-\frac{1}{2}\mathcal{N}(\mathbf{x} | \boldsymbol{\mu}, \mathbf{\Sigma})\nabla_{\mathbf{x}-\boldsymbol{\mu}}\left\{(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right\}$，利用PRML(C.19)和(C.20)公式，令 $\mathbf{A}=(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}$， $\mathbf{B}=\mathbf{x}-\boldsymbol{\mu}$，則很容易獲得 $\frac{\partial\mathcal{N}(\mathbf{x} | \boldsymbol{\mu}, \mathbf{\Sigma})}{\partial \mathbf{x}}=-\mathcal{N}(\mathbf{x} | \boldsymbol{\mu}, \mathbf{\Sigma}) \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})$，在推導過程當中須要注意的是 ${\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})=(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}{\Sigma}^{-1}$，這是因爲 $\mathbf{x}-\boldsymbol{\mu}$是向量所致使的。那麼根據求得的導數，一樣在 $\mathbf{x}=\boldsymbol{\mu}$時取得極值。

1.10

$\mathbb{E}[x+z]=\iint (x+z)p(x,z)\mathrm{d}x\mathrm{d}z=\iint (x+z)p(x)p(z)\mathrm{d}x\mathrm{d}z=\iint xp(x)p(z)\mathrm{d}x\mathrm{d}z+\iint zp(z)p(x)\mathrm{d}x\mathrm{d}z$

對於右側的式子，因爲 $x$與 $z$相互獨立， $p(z)$的積分爲1，所以第一項即爲 $\int xp(x)\mathrm{d}x=\mathbb{E}[x]$，同理第二項爲 $\mathbb{E}[z]$，因此 $\mathbb{E}[x+z]=\mathbb{E}[x]+\mathbb{E}[z]$。

$\operatorname{var}[x+z]=\mathbb{E}[(x+z)^2]-(\mathbb{E}[x+z])^2$，代入第一小問的結果，獲得所求方差爲 $\mathbb{E}[x^2+z^2+2xz]-(\mathbb{E}[x]+\mathbb{E}[x])^2=\mathbb{E}[x^2]+\mathbb{E}[z^2]+2\mathbb{E}[xz]-(\mathbb{E}[x])^2-(\mathbb{E}[z])^2-2\mathbb{E}[x]\mathbb{E}[z]$，

又根據題目1.6的結論，化簡獲得 $\operatorname{var}[x+z]=\mathbb{E}[x^2]+\mathbb{E}[z^2]-(\mathbb{E}[x])^2-(\mathbb{E}[z])^2=\operatorname{var}[x]+\operatorname{var}[z]$。

1.11

令 $y=\ln p\left(\mathbf{x} | \mu, \sigma^{2}\right)=-\frac{1}{2 \sigma^{2}} \sum_{n=1}^{N}\left(x_{n}-\mu\right)^{2}-\frac{N}{2} \ln \sigma^{2}-\frac{N}{2} \ln (2 \pi)$，能夠獲得 $\frac{\partial y}{\partial \mu}=-\frac{1}{\sigma^2}\sum_{n=1}^{N}(\mu-x_n)=0$，因此 $\sum_{n=1}^{N}(\mu-x_n)=0$，因此 $\sum_{n=1}^{N}\mu-\sum_{n=1}^{N}x_n=N\mu-\sum_{n=1}^{N}x_n=0$，因此 $\mu_{\mathrm{ML}}=\frac{1}{N} \sum_{n=1}^{N} x_{n}$。

$\frac{\partial y}{\partial \sigma^2}=-\frac{2}{(2\sigma^2)^2}\sum_{n=1}^{N}(x_n-\mu_{\mathrm{ML}})^2-\frac{N}{2\sigma^2}=0$，很容易獲得 $\sigma_{\mathrm{ML}}^{2}=\frac{1}{N} \sum_{n=1}^{N}\left(x_{n}-\mu_{\mathrm{ML}}\right)^{2}$。

1.12

這題其實第一小問挺迷的，主要問題在於爲何做者要使用不一樣的下標來表示是否獨立，或者說，若是做者你想表達這個意思，那你就應該明說啊我透。這樣子一來就比較簡單明瞭了，若 $n=m$，則 $\mathbb{E}[x_n^2]$根據式(1.50)很容易獲得 $\mathbb{E}[x_n^2]=\mu^2+\sigma^2$，下標爲 $m$時相同。若 $n\ne m$，那麼按照做者的意思，就是說這倆變量相互獨立，因此 $\mathbb{E}[x_nx_m]=\mathbb{E}[x_n]\mathbb{E}[x_m]=\mu^2$。

其實做者是想用第一小問做爲引子來幫助咱們證實式(1.57)和式(1.58)，那麼實際上我是以爲不必這麼麻煩，咱們直接證實這兩個式子便可，無需繞他給的這條彎路。

對於第一個式子，求取最大似然分佈的均值的指望，咱們這裏假設總共取了 $K$次數據，每一次都取 $N$個數據來進行極大似然估計， $x_{kn}$表示第 $k$次取的第 $n$個數據，那麼 $\mathbb{E}[\mu_{\mathrm{ML}}]=\frac{1}{K}\sum_{k=1}^K[\frac{1}{N}\sum_{n=1}^Nx_{kn}]=\frac{1}{KN}\sum_{k=1}^{K}\sum_{n=1}^Nx_{kn}$，到這裏，咱們先停一下，假設咱們每次取的數據有限，也就是 $N$有限，可是咱們一直取一直取，也就是說 $K$無限，那麼這裏就能夠看作我對整個分佈上全部的 $x$都取到了，從而推得 $x_{kn}$的均值就是正態分佈 $\mathcal{N}\left(x | \mu, \sigma^{2}\right)$的均值 $\mu$，因此 $\mathbb{E}[\mu_{\mathrm{ML}}]=\mu$，這就證實了式(1.57)。

對於式(1.58)，首先依舊採起咱們以前的取數據規定，同時將方差的計算公式展開， $\mu_{k\mathrm{ML}}$爲第 $k$次取得的數據的均值，則 $\mathbb{E}[\sigma_{\mathrm{ML}}^2]=\frac{1}{K}\sum_{k=1}^K[\frac{1}{N}\sum_{n=1}^N(x_{kn}-\mu_{k\mathrm{ML}})^2]=\frac{1}{K}\sum_{k=1}^K[\frac{1}{N}\sum_{n=1}^N(x_{kn}^2-2x_{kn}\mu_{k\mathrm{ML}}+ \mu_{k\mathrm{ML}}^2)]$，這就能夠拆分爲三項，其中第一項與 $x_{kn}^2$相關，沿用上面的思路，至關於取遍了全部的 $x_{kn}$，因此 $\frac{1}{K}\sum_{k=1}^K[\frac{1}{N}\sum_{n=1}^Nx_{kn}^2]=\mathbb{E}[x^2]=\mu^2+\sigma^2$，後面兩項能夠寫成 $\frac{1}{K}\sum_{k=1}^K[-2\mu_{k\mathrm{ML}}\frac{1}{N}\sum_{n=1}^Nx_{kn}]+\frac{1}{K}\sum_{k=1}^K[\frac{1}{N}\sum_{n=1}^N( \mu_{k\mathrm{ML}}^2)]$，也就是 $\frac{1}{K}\sum_{k=1}^K[-2\mu_{k\mathrm{ML}}^2]+\frac{1}{K}\sum_{k=1}^K[\mu_{k\mathrm{ML}}^2]=-\frac{1}{K}\sum_{k=1}^K[\mu_{k\mathrm{ML}}^2]$，這就比較明白了，後面兩項就是 $-\mathbb{E}[\mu_{\mathrm{ML}}^2]$，所以 $\mathbb{E}[\sigma_{\mathrm{ML}}^2]=\mu^2+\sigma^2-\mathbb{E}[\mu_{\mathrm{ML}}^2]$，因此咱們就要求這個 $\mathbb{E}[\mu_{\mathrm{ML}}^2]$，這個表達式的含義就是每一次取得的數據的均值的平方的平均值（指望），那麼就有 $\mathbb{E}[\mu_{\mathrm{ML}}^2]=\sigma_{\mu_{\mathrm{ML}}}^2+(\mathbb{E}[\mu_{\mathrm{ML}}])^2$，根據公式(1.57)，咱們進一步獲得 $\mathbb{E}[\mu_{\mathrm{ML}}^2]=\sigma_{\mu_{\mathrm{ML}}}^2+\mu^2$，因此 $\mathbb{E}[\sigma_{\mathrm{ML}}^2]=\mu^2+\sigma^2-\mathbb{E}[\mu_{\mathrm{ML}}^2]=\sigma^2-\sigma_{\mu_{\mathrm{ML}}}^2$，因此任務又進一步變爲求這個 $\sigma_{\mu_{\mathrm{ML}}}^2=\operatorname{var}[\mu_{\mathrm{ML}}]$，而 $\operatorname{var}[\mu_{\mathrm{ML}}]=\operatorname{var}[\frac{1}{N}\sum_{n=1}^N x_n]=\frac{1}{N^2}\sum_{n=1}^N \operatorname{var}[x_n]=\frac{1}{N^2}\sum_{n=1}^N \sigma^2=\frac{\sigma^2}{N}$。

因此就有 $\mathbb{E}[\sigma_{\mathrm{ML}}^2]=\mu^2+\sigma^2-\mathbb{E}[\mu_{\mathrm{ML}}^2]=\sigma^2-\frac{\sigma^2}{N}=\frac{N-1}{N}\sigma^2$。

PS：我用MATLAB作了一下實驗，與理論徹底相符，式(1.57)和式(1.58)實際上也能夠從直觀上進行理解，這裏就不詳細說了。

1.13

根據題目(1.12)的推導，這題就很簡單了，將 $\mathbb{E}[\mu_{\mathrm{ML}}^2]$代換爲 $\mathbb{E}[\mu^2]=\mu^2$便可，那很顯然 $\mathbb{E}[\sigma_{\mathrm{ML}}^2]=\mu^2+\sigma^2-\mu^2=\sigma^2$。此時，方差的指望也就是無偏的了。

1.14

若是能夠寫成題目要求的形式（設原矩陣爲 $\mathrm{W}$，要寫成 $\mathrm{W}=\mathrm{S}+\mathrm{A}$），那首先能夠很容易推斷出 $\mathrm{A}$的對角線上的元素都是 $0$，因此 $\mathrm{S}$對角線上的元素就是 $\mathrm{W}$對角線上的元素。接着就是要證實 $\mathrm{S}$和 $\mathrm{A}$的其他元素也是可解出來的，由於 $w_{ij}=w_{ij}^{\mathrm{S}}+w_{ij}^{\mathrm{A}}$，同時 $w_{ji}=w_{ji}^{\mathrm{S}}+w_{ji}^{\mathrm{A}}=w_{ij}^{\mathrm{S}}-w_{ij}^{\mathrm{A}}$，這就能夠獲得構成一個二元一次方程組，因爲參數對應的矩陣的秩爲 $2$，所以方程組必然有解，因此能夠寫成題目要求的形式。

$\sum_{i=1}^{D}\sum_{j=1}^{D}x_i w_{ij}x_j=\mathrm{x^T W x}=\mathrm{x^T (S+A) x}=\mathrm{x^T S x +x^T A x}$，如今重點關注一下 $\mathrm{x^T A x}$這一項，由於 $\mathrm{x^T A x}=\sum_{i=1}^{D}\sum_{j=1}^{D}x_i w_{ij}^{\mathrm{A}}x_j$，那麼 $\mathrm{A}$的對角線元素皆爲 $0$，同時對稱元素互爲相反數，（注意， $\mathrm{A}$和另外兩個矩陣都是方陣，這是前提條件），至關於 $x_i w_{ij}^{\mathrm{A}}x_j+x_j w_{ji}^{\mathrm{A}}x_i=0$，因此 $\mathrm{x^T A x}=0$，因此 $\sum_{i=1}^{D}\sum_{j=1}^{D}x_i w_{ij}x_j=\mathrm{x^T W x}=\mathrm{x^T S x +x^T A x}=\mathrm{x^T S x}=\sum_{i=1}^{D}\sum_{j=1}^{D}x_i w_{ij}^{\mathrm{S}}x_j$。

最後一小問就至關於問咱們矩陣 $\mathrm{S}$的對角線以及上（或下）三角部分一共有幾個元素，使用數列求和的方式，咱們獲得 $1+2+3+\dots+D=D(D+1)/2$，所以獨立的元素數量就是這麼多。

1.15

根據題目1.14可知，由全部 $w_{i_{1}i_{2}\dots i _{M}}$構成的高維張量也是一個高維對稱張量，其中的獨立元素使用 $\tilde{w}_{i_{1}i_{2}\dots i _{M}}$表示，此時要證實的式子就比較好理解了，因爲張量的對稱性質，其他元素都是非獨立的，所以都可不作考慮，在根據 $i_{1}$至 $i_{M}$肯定了張量的維度順序後，假設 $i_1 = 1$，那麼因爲剩下的維度中非獨立元素所處的維度小於等於第一維的維度，所以 $i_2$的上限是 $i_1$，同理，剩下的和式也是能夠推出來的。由此咱們能夠獲得形式爲 $\sum_{i_{1}=1}^{D} \sum_{i_{2}=1}^{i_{1}} \cdots \sum_{i_{M}=1}^{i_{M-1}} \widetilde{w}_{i_{1} i_{2} \cdots i_{M}} x_{i_{1}} x_{i_{2}} \cdots x_{i_{M}}$。

Tips：實際上我仍是沒有想明白對稱的高維張量是長啥樣的。

接着要證實 $n(D, M)=\sum_{i=1}^{D} n(i, M-1)$，這個也很簡單，就將上面第一問的結果拿來用，最外圍的求和就是在 $i_1$從 $1$取到 $D$的過程當中後方全部項的求和，而 $i_2$到 $i_M$一共有 $M-1$項，因此得證。這個遞推式仍是比較直觀的。

第三小問概括法也很直接， $D=1$的狀況下， $\sum_{i=1}^{D} \frac{(i+M-2) !}{(i-1) !(M-1) !}=\frac{(M-1)!}{(M-1)!}=1=\frac{(D+M-1) !}{(D-1) ! M !}=\frac{(1+M-1) !}{(1-1) ! M !}=\frac{M!}{M!}$，此時等式成立，假設取數字 $D$時，等式成立，則 $\sum_{i=1}^{D} \frac{(i+M-2) !}{(i-1) !(M-1) !}=\frac{(D+M-1) !}{(D-1) ! M !}$，則取數字 $D+1$時， $\sum_{i=1}^{D+1} \frac{(i+M-2) !}{(i-1) !(M-1) !}=\sum_{i=1}^{D} [\frac{(i+M-2) !}{(i-1) !(M-1) !}]+\frac{(D+M-1) !}{D ! (M-1) !}=\frac{(D+M-1) !}{(D-1) ! M !}+\frac{(D+M-1) !}{D ! (M-1) !}=\frac{(D+M)(D+M-1)!}{D!M!}$，因此 $\sum_{i=1}^{D+1} \frac{(i+M-2) !}{(i-1) !(M-1) !}=\frac{(D+M)!}{D!M!}=\frac{(D+1+M-1)!}{(D+1-1)!M!}$，說明該式在 $D+1$時仍舊成立，從而概括得證。

對於任意 $D \ge 1$，取 $M=2$，則有 $n(D, M)=\frac{(D+M-1) !}{(D-1) ! M !}=\frac{(D+1) !}{(D-1) !2 !}=\frac{D(D+1)}{2}$，正如咱們在題目1.14中獲得結果同樣。如今假設 $M-1$時，該式成立，即 $n(D, M-1)=\frac{(D+M-2) !}{(D-1) ! (M-1) !}$，而 $n(D, M)=\sum_{i=1}^{D} n(i, M-1)=\sum_{i=1}^{D} \frac{(i+M-2) !}{(i-1) ! (M-1) !}$，又由於 $\sum_{i=1}^{D} \frac{(i+M-2) !}{(i-1) !(M-1) !}=\frac{(D+M-1) !}{(D-1) ! M !}$，因此 $n(D, M)=\frac{(D+M-1) !}{(D-1) ! M !}$，因此在 $M$時，該式依舊成立，從而概括得證。

1.16

第一小問很直觀，根據式(1.74)可知， $n(D,M)$僅表徵了第 $M$階參數的獨立元素個數，如今的 $N(D,M)$至關於求取全部階（ $0$階到 $M$階）的獨立參數數量，所以 $N(D, M)=\sum_{m=0}^{M} n(D, m)$。

第二小問，當 $M=0$時， $N(D, M)=\frac{(D+M) !}{D ! M !}=1$，這與實際相符，當僅含有 $0$階時，因爲 $x$無關，因此實際上就一個常數項，所以參數的數量就是 $1$。如今假設 $M$時成立，即 $N(D, M)=\frac{(D+M) !}{D ! M !}$，則取 $M+1$時， $N(D, M+1)=\frac{(D+M) !}{D ! M !}+n(D,M+1)=\frac{(D+M) !}{D ! M !}+\frac{(D+M) !}{(D-1) ! (M+1) !}=\frac{(M+1)(D+M)!+D(D+M)!}{D!(M+1)!}=\frac{(D+M+1)!}{D!(M+1)!}$，這裏使用了式(1.137)的結論，從而概括得證。

第三小問使用了斯特林公式 $n ! \simeq n^{n} e^{-n}$，若 $D \gg M$，則 $N(D, M)=\frac{(D+M) !}{D ! M !} \simeq \frac{(D+M)!}{D!} \simeq \frac{(D+M)^{D+M}e^{-(D+M)}}{D^De^{-D}} \simeq \frac{(D+M)^{D+M}}{D^D} \simeq \frac{D^{D+M}}{D^D}=D^M$，同理，若 $M \gg D$，則有 $N(D, M)=\frac{(D+M) !}{D ! M !} \simeq \frac{(D+M)!}{M!} \simeq \frac{(D+M)^{D+M}e^{-(D+M)}}{M^Me^{-M}} \simeq \frac{(D+M)^{D+M}}{M^M} \simeq \frac{M^{D+M}}{M^M}=M^D$，從而得證。

$N(10, 3)=\frac{(10+3) !}{10 ! 3 !}=286$， $N(100, 3)=\frac{(100+3) !}{100 ! 3 !}=176851$。

1.17

已知 $\Gamma(x) \equiv \int_{0}^{\infty} u^{x-1} e^{-u} \mathrm{d} u$，根據分部積分法，能夠獲得 $\Gamma(x)=\int_{0}^{\infty}-u^{x-1}\mathrm{d}e^{-u}=-u^{x-1}e^{-u}|_0^{\infty}+\int_{0}^{\infty}e^{-u}\mathrm{d}u^{x-1}=\int_{0}^{\infty}e^{-u}\mathrm{d}u^{x-1}$，前半部分的積分爲 $0$不作贅述，簡單說明一下就是 $x$是有限項，而 $u$取無限大項時，無限大的有限次方除以 $e$的無限大次方時趨近於 $0$，你也能夠用MATLAB測試一下。而 $\Gamma(x+1)=\int_{0}^{\infty}e^{-u}\mathrm{d}u^{x}=\int_{0}^{\infty}xe^{-u}\mathrm{d}u^{x-1}=x\Gamma(x)$，得證。

$\Gamma(1)=\int_{0}^{\infty}e^{-u}\mathrm{d}u=-e^{-u}|_0^{\infty}=1$，得證。

若 $x$爲整數，那麼 $\Gamma(x+1) = \int_{0}^{\infty}e^{-u}\mathrm{d}u^{x}$，式子中，微分項 $u^{x}$的次冪就能夠一直取下來，獲得 $\Gamma(x+1) = \int_{0}^{\infty}e^{-u}\mathrm{d}u^{x}=x!\int_{0}^{\infty}e^{-u}\mathrm{d}u=x!$。

1.18

有一個疑問，式(1.142)中，爲什麼就稱那一項爲 $S_D$的呢？憑什麼那一項所表明的的含義就是 $D$維空間中單位球體的表面積呢？我本身想了一下，可是也只是一個頭緒，咱們看一下題目1.7中的計算過程，其中有一步是算到了 $I^{2}=\int_o^{2 \pi}\int_0^{\infty}\exp(-\frac{1}{2\sigma^2}r^2)r\mathrm{d}r\mathrm{d}\theta$，爲了和本題結合，咱們取 $\sigma^2=1/2$，則有 $I^{2}=\int_o^{2 \pi}\int_0^{\infty}\exp(-r^2)r\mathrm{d}r\mathrm{d}\theta$，將這個公式對照題目1.18裏面的式(1.142)，就能夠看到， $S_D$就是咱們算出來的這個雙重積分項 $\int_o^{2 \pi}\int_0^{\infty}\exp(-r^2)r\mathrm{d}r\mathrm{d}\theta$除以這個積分項內層的積分，簡單來講，經過這麼一個除法，本來對於整個平面的積分（ $r$從 $0$取到 $\infty$），變成了單位長度，同時又消除了 $\exp (-r^2)$這一項的積分影響，至關於算了一個在極小角度下的單位半徑的扇形的面積，那麼再對這個扇形進行角度上的積分，轉一圈就獲得了單位圓的面積。因此式(1.142)就是這個過程在更高維空間的一個推廣。這是個人理解。

首先，根據式(1.126)，能夠推知， $\prod_{i=1}^{D} \int_{-\infty}^{\infty} e^{-x_{i}^{2}} \mathrm{d} x_{i}=\pi^{D/2}$