支持向量機 (二)： 軟間隔 svm 與 核函數

拉格朗日乘子法 - KKT條件 - 對偶問題

支持向量機 (一)： 線性可分類 svm

支持向量機 (二)： 軟間隔 svm 與 核函數

軟間隔最大化（線性不可分類svm）

---

上一篇求解出來的間隔被稱爲 「硬間隔(hard margin）「，其能夠將全部樣本點劃分正確且都在間隔邊界以外，即全部樣本點都知足 \(y_{i}(\boldsymbol{w}^{\top} \boldsymbol{x}_{i}+b) \geqslant 1\) 。

但硬間隔有兩個缺點：1. 不適用於線性不可分數據集。 2. 對離羣點（outlier）敏感。


好比下圖就沒法找到一個超平面將藍點和紫點徹底分開：

下圖顯示加入了一個離羣點後，超平面發生了很大的變更，最後造成的間隔變得很小，這樣最終的泛化效果可能不會太好。

爲了緩解這些問題，引入了 「軟間隔（soft margin）」，即容許一些樣本點跨越間隔邊界甚至是超平面。以下圖中一些離羣點就跨過了間隔邊界。

因而爲每一個樣本點引入鬆弛變量 \(\large{\xi_i}\)，優化問題變爲：

\[ \begin{aligned} \min\limits_{\boldsymbol{w}, b,\boldsymbol{\xi}} & \;\; \frac12 ||\boldsymbol{w}||^2 + C \,\sum\limits_{i=1}^m \xi_i \\[1ex] {\text { s.t. }} & \;\; y_{i}\left(\boldsymbol{w}^{\top} \boldsymbol{x}_{i}+b\right) \geq 1 - \xi_i, \quad i=1,2, \ldots, m \\[1ex] & \;\; \xi_i \geq 0, \quad i=1,2, \ldots m \end{aligned} \tag{1.1} \]

由上式能夠看出：

1. 離羣點的鬆弛變量值越大，點就離間隔邊界越遠。

2. 全部沒離羣的點鬆弛變量都等於0，即這些點都知足 \(y_{i}\left(\boldsymbol{w}^{\top} \boldsymbol{x}_{i}+b\right) \geqslant 1\) 。

3. \(C > 0\) 被稱爲懲罰參數，即爲 scikit-learn 中的 svm 超參數C。當C設的越大，意味着對離羣點的懲罰就越大，最終就會有較少的點跨過間隔邊界，模型也會變得複雜。而C設的越小，則較多的點會跨過間隔邊界，最終造成的模型較爲平滑。

該優化問題的求解方法與前篇相似，爲每條約束引入拉格朗日乘子： \(\alpha_i \geqslant 0, \; \beta_i \geqslant 0\) ，\((1.1)\) 式的拉格朗日函數爲：
\[ \mathcal{L}(\boldsymbol{w}, b, \boldsymbol{\xi}, \boldsymbol{\alpha}, \boldsymbol{\beta}) = \frac12 ||\boldsymbol{w}||^2 + C \sum\limits_{i=1}^m\xi_i + \sum\limits_{i=1}^m\alpha_i \left[1 - \xi_i - y_i(\boldsymbol{w}^{\top} \boldsymbol{x}_i + b)\right] + \sum\limits_{i=1}^m \beta_i(-\xi_i) \]

其對偶問題爲：
\[ \begin{aligned} \max_{\boldsymbol{\alpha}, \boldsymbol{\beta}}\min_{\boldsymbol{w},b,\boldsymbol{\xi}} &\;\; \mathcal{L}(\boldsymbol{w}, b, \boldsymbol{\xi}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \\[1ex] \text{s.t.} &\;\; \alpha_i \geq 0, \quad i=1,2, \ldots m \\[1ex] & \;\;\beta_i \geq 0, \quad i = 1,2, \ldots m \end{aligned} \tag{1.3} \]

上式內層對 \((\boldsymbol{w}, b, \boldsymbol{\xi})\) 的優化屬於無約束優化問題，則令偏導爲零：
\[ \begin{align} \frac{\partial \mathcal{L}}{\partial \boldsymbol{w}} = \boldsymbol{0} & \implies \boldsymbol{w} = \sum\limits_{i=1}^m \alpha_i y_i \boldsymbol{x}_i \qquad\qquad \tag{1.4} \\ \frac{\partial \mathcal{L}}{\partial b} = 0 & \implies \sum\limits_{i=1}^m \alpha_iy_i = 0 \qquad\qquad\quad\; \tag{1.5} \\ \frac{\partial \mathcal{L}}{\partial \boldsymbol{\xi}} = \boldsymbol{0} & \implies \beta_i = C - \alpha_i \qquad\qquad\quad\; \tag{1.6} \end{align} \]

將 \((1.4) \sim (1.6)\) 式代入 \((1.2)\) 式得：
\[ \begin{aligned} \mathcal{L}(\boldsymbol{w}, b, \boldsymbol{\xi}, \boldsymbol{\alpha}, \boldsymbol{\beta}) &= \frac12 \sum\limits_{i=1}^m\sum\limits_{j=1}^m \alpha_i\alpha_jy_iy_j\boldsymbol{x}_i^{\top}\boldsymbol{x}_j + C\sum\limits_{i=1}^m \xi_i + \sum\limits_{i=1}^m\alpha_i(1 - \xi_i) - \sum\limits_{i=1}^m(C - \alpha_i)\xi_i \\[1ex] & = \sum\limits_{i=1}^m \alpha_i - \frac12 \sum\limits_{i=1}^m\sum\limits_{j=1}^m \alpha_i\alpha_jy_iy_j\boldsymbol{x}_i^{\top}\boldsymbol{x}_j \end{aligned} \]

又由 \((1.6)\) 式： \(\beta_i = C - \alpha_i \geqslant 0\) ，於是 \(0 \leqslant \alpha_i \leqslant C\) ，因而最後的優化問題化簡爲：
\[ \begin{aligned} \max_\alpha &\;\; \sum\limits_{i=1}^m \alpha_i - \frac12 \sum\limits_{i=1}^m\sum\limits_{j=1}^m \alpha_i\alpha_jy_iy_j\boldsymbol{x}_i^{\top}\boldsymbol{x}_j \\[1ex] \text{s.t.} & \;\; \sum\limits_{i=1}^m \alpha_iy_i = 0 \\[1ex] & \;\; 0 \leqslant \alpha_i \leqslant C, \quad i = 1,2,\ldots m \end{aligned} \tag{1.7} \]

與硬間隔 svm 同樣，軟間隔 svm 的超平面參數 \((\boldsymbol{w}, b)\) 一樣由支持向量決定，然而對於軟間隔 svm 中支持向量的討論是一件比較搞腦子的事情，由於可分類的狀況衆多，下面進行詳細討論。不過首先回顧一下前文中硬間隔 svm 的支持向量 —— 就兩種狀況： (1) \(\alpha_i > 0, \;y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1\) ，表示在間隔邊界上的樣本爲支持向量； (2) \(\alpha_i = 0, \; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) > 1\) ，不是支持向量。

對於軟間隔 svm ，推導其支持向量須要的仍然是 \((1.3)\) 式最優解的 KKT 條件：
\[ \begin{cases} 原始問題可行: & \begin{cases} 1 - \xi_i - y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) \leq 0 \qquad\qquad\quad\;\;\,\, (1.8)\\[1ex] -\xi_i \leq 0 \qquad\qquad\qquad\qquad\qquad\qquad\quad\;\;\; (1.9) \end{cases} \\[4ex] 對偶問題可行: & \begin{cases} \alpha_i \geq 0 \qquad\qquad\qquad\qquad\qquad\qquad\qquad\; (1.10) \\[1ex] \beta_i = C - \alpha_i \geq 0 \qquad\qquad\qquad\qquad\qquad (1.11) \end{cases} \\[4ex] 互補鬆弛: & \begin{cases} \alpha_i(1 - \xi_i - y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b)) = 0 \qquad\qquad (1.12) \\[1ex] \beta_i \xi_i = 0 \qquad\qquad\qquad\qquad\qquad\qquad\quad\;\,\, (1.13) \end{cases} \end{cases} \]

下面分狀況討論：

\((1) \;\; \alpha_i = 0\)， 由 \((1.4)\) 式 \(\boldsymbol{w} = \sum\limits_{i=1}^m \alpha_iy_i\boldsymbol{x}_i = 0\) ，不是支持向量。

\((2) \;\, 0 < \alpha_i < C \implies (1.11)式:\; \beta_i > 0 \implies (1.13)式:\; \xi_i = 0 \implies (1.12)式:\; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1\) ，該樣本在間隔邊界上。 爲何不會出現 \(\xi_i > 0\) 的狀況？ 回顧 [拉格朗日乘子法 - KKT條件 - 對偶問題] 第二節 KKT 條件：
\[ \begin{cases} g(\boldsymbol{x}) < 0, & \lambda = 0 \\[1ex] g(\boldsymbol{x}) = 0, & \lambda > 0 \end{cases} \quad \iff \quad \lambda \geqslant 0, \;\;\lambda \,g(\boldsymbol{x}) = 0 \]
於是若 \((1.13)\) 式中拉格朗日乘子 \(\beta_i > 0\) ，則 \(\xi_i = 0\) 。

\((3) \;\; \alpha_i = C \implies (1.11) 式:\; \beta_i = 0 \implies (1.13)式:\; \xi_i > 0 \implies\)
\[ \qquad \begin{cases} 0 < \xi_i < 1, \quad (1.12)式:\; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1 - \xi_i \in (0,1),\;\; 樣本在間隔邊界和分離超平面之間 \\[2ex] \xi_i = 1, \qquad\quad\, (1.12)式:\; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1 - \xi_i = 0,\qquad\, 樣本在分離超平面上 \\[2ex] \xi_i > 1, \quad\qquad\, (1.12)式:\; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1 - \xi_i < 0,\qquad\, 樣本在分離超平面另外一側,意味着其被誤分類 \end{cases} \]

有了上述討論後，咱們來看軟間隔 svm 如何獲得最終的參數 \((\boldsymbol{w}, b)\) 。其中 \(\boldsymbol{w}\) 和硬間隔同樣由 \((1.4)\) 式得出，而 \(b\) 的狀況則不一樣。選擇一個支持向量 \((\boldsymbol{x}_s, y_s)\) 使得 \(\alpha_i > 0\) ，則由 \((1.12)\) 式並利用 \(y_s^2 =1\) ：
\[ 1 - \xi_s - y_s(\boldsymbol{w}^{\top}\boldsymbol{x}_s + b) = y_s^2 - y_s^2\xi_s - y_s(\boldsymbol{w}^{\top}\boldsymbol{x}_s + b) = 0 \;\;\large\color{lime}{\implies}\;\; \color{black}\normalsize b = y_s - y_s\xi_s - \boldsymbol{w}^{\top}\boldsymbol{x}_s \]

如今因爲 \(b\) 還未求出，因此咱們不知道超平面的具體樣貌，若是選擇了一個 \(\xi_s > 0\) 的支持向量，就沒法得知 \(\xi_s\) 的具體值是多少 (由 (1.12) 式: \(\xi_s = 1 - y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b)\) )，也就沒法求出 \(b\) 。所以這裏須要使 \(\xi_s = 0\) 才能求出 \(b\) ，由上文討論可知只有 \(0 < \alpha_s < C\) ，即樣本在間隔邊界上時，\(\xi_s = 0\) 。於是不一樣於硬間隔 svm， 軟間隔求 \(b\) 選擇的支持向量不是任一支持向量，而是必須知足條件的支持向量，這說明軟間隔 svm 的超平面確實刻意忽略了間隔邊界以內的那些離羣點，由於這些點都有 \(\xi_i > 0\) 。


固然也能夠對此類支持向量求平均獲得 \(b\)：
\[ b = \frac{1}{|SV_{<C}|} \sum\limits_{s \in SV_{<C}} \left( y_s - \sum\limits_{i \in SV_{<C}} \alpha_i y_i \boldsymbol{x}_i^\top\boldsymbol{x}_s \right) \]
其中 \(SV_{<C}\) 表示知足 \(0 < \alpha_s<C\) 的支持向量。

核函數（非線性svm）

---

前面展現的硬間隔和軟間隔 svm 主要是用於處理線性分類問題，然而現實中不少分類問題是非線性的，以下圖所示，不管怎樣一個線性超平面都沒法很好地將樣本點分類：

因此在此引入核函數（kernel function），構造非線性svm，以下圖所示，左圖使用的是多項式核函數，右圖使用的是高斯核函數，兩者均能將樣本點很好地分類：

核函數的主要做用是將樣本從原始空間映射到一個更高維的特徵空間，使得樣本在這個特徵空間內線性可分。下圖顯示原來在二維空間不可分的兩類樣本點，在映射到三維空間後變爲線性可分 :

但回到原來的二維空間中，決策邊界就變成非線性的了：

核函數是如何將原始空間映射到高維的特徵空間的？ 下面先舉個例子：

假設作一個2維到3維的映射，\(\large{\Phi}: \;\mathbb{R}^2 \longrightarrow \mathbb{R}^3\)

\[ \phi(\boldsymbol{x}) = \phi \begin{pmatrix}x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} x_1^2 \\ \sqrt{2}\,x_1x_2 \\ x_2^2\end{pmatrix} \]
求 \(\phi(\boldsymbol{a})\) 和 \(\phi(\boldsymbol{b})\) 的內積：

\[ \begin{aligned} \phi(\textbf{a})^T \phi(\textbf{b}) & = \begin{pmatrix} a_1^2 \\ \sqrt2 \, a_1a_2 \\ a_2^2 \end{pmatrix}^T \cdot \begin{pmatrix} b_1^2 \\ \sqrt2 \, b_1b_2 \\ b_2^2 \end{pmatrix} = a_1^2b_1^2 + 2a_1b_1a_2b_2 + a_2^2b_2^2 \\[1ex] & = (a_1b_1 + a_2b_2)^2 = \begin{pmatrix}\begin{pmatrix} a_1 \\ a_1 \end{pmatrix}^T \begin{pmatrix} b_1 \\ b_1 \end{pmatrix}\end{pmatrix}^2 = ({\textbf{a}}^T {\textbf{b}})^2 \end{aligned} \]
能夠看出轉換後向量的內積等於原向量內積的平方，即 \(\phi (\textbf{a})^T \phi(\textbf{b}) = (\textbf{a}^T \textbf{b})^2\) 。

函數 \(\kappa(\textbf{a}, \textbf{b}) = (\textbf{a}^T\textbf{b})^2\) 被成爲二次多項核函數，因而若是想計算高維特徵空間的內積 \(\phi(\textbf{a})^T \phi(\textbf{b})\)，咱們只需計算核函數，即原向量內積的平方 \((\textbf{a}^T\textbf{b})^2\) 就能夠了。這樣作的好處有：

• 將樣本點由原始空間映射到高維空間後，有大機率使原來線性不可分的問題變爲線性可分。

• 核函數的計算是在低維特徵空間計算的，它避免了在高維特徵空間下計算內積的超高計算量。

下圖也能看出在原始空間和高維空間下計算量的巨大差別：

接下來對問題做正式的定義： 數據在原始特徵空間 \(\mathbb{R}^d\) 不是線性可分的，則但願經過一個映射 \(\large{\Phi}: \;\mathbb{R}^d \longrightarrow \mathbb{R}^\tilde{d}\) ，使得數據在新的特徵空間 \(\mathbb{R}^\tilde{d}\) 中線性可分，則軟間隔 svm 基本型變爲：
\[ \begin{aligned} \min\limits_{\boldsymbol{w}, b,\boldsymbol{\xi}} & \;\; \frac12 ||\boldsymbol{w}||^2 + C \,\sum\limits_{i=1}^m \xi_i \\[1ex] {\text { s.t. }} & \;\; y_{i}\left(\boldsymbol{w}^{\top} \phi(\boldsymbol{x}_{i})+b\right) \geq 1 - \xi_i, \quad i=1,2, \ldots, m \\[1ex] & \;\; \xi_i \geq 0, \quad i=1,2, \ldots m \end{aligned} \]

找到一個核函數 \(\mathcal{K} (\boldsymbol{x}_i, \boldsymbol{x}_j) = \phi(\boldsymbol{x}_i)^{\top} \phi(\boldsymbol{x}_j)\) ，則相應的對偶型轉化爲核函數型：
\[ \begin{aligned} \max_\alpha &\;\; \sum\limits_{i=1}^m \alpha_i - \frac12 \sum\limits_{i=1}^m\sum\limits_{i=1}^m \alpha_i\alpha_jy_iy_j \phi(\boldsymbol{x}_i)^{\top}\phi(\boldsymbol{x}_j) \\[1ex] \text{s.t.} & \;\; \sum\limits_{i=1}^m \alpha_iy_i = 0 \\[1ex] & \;\; 0 \leqslant \alpha_i \leqslant C, \quad i = 1,2,\ldots m \end{aligned} \quad \Large{\implies} \normalsize \quad \begin{aligned} \max_\alpha &\;\; \sum\limits_{i=1}^m \alpha_i - \frac12 \sum\limits_{i=1}^m\sum\limits_{i=1}^m \alpha_i\alpha_jy_iy_j \kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) \\[1ex] \text{s.t.} & \;\; \sum\limits_{i=1}^m \alpha_iy_i = 0 \\[1ex] & \;\; 0 \leqslant \alpha_i \leqslant C, \quad i = 1,2,\ldots m \end{aligned} \]

這樣使得計算複雜度由 \(\mathcal{O}(\tilde{d})\) 降爲 \(\mathcal{O} (d)\) 。求解後的分離超平面爲：
\[ \begin{aligned} f(\boldsymbol{x}) & = \boldsymbol{w}^{\top} \phi(\boldsymbol{x}) + b \\[1ex] & = \sum\limits_{i \in SV} \alpha_i y_i \phi(\boldsymbol{x}_i)\phi(\boldsymbol{x}) + b \\[1ex] & = \sum\limits_{i \in SV} \alpha_i y_i \kappa(\boldsymbol{x}_i, \boldsymbol{x}) + b \end{aligned} \]
其中 \(SV\) 表明全部支持向量的集合。這樣咱們就能以較小的計算量解決非線性分類問題，甚至都不須要知道低維空間的數據是怎樣映射到高維空間的，只須要在原來的低維空間計算核函數就好了。

常見核函數比較：

名稱	形式	優勢	缺點
線性核	\(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) = \boldsymbol{x}_i^{\top}\boldsymbol{x}_j\)	速度快，可解釋性強。	沒法解決非線性可分問題。
多項式核	\(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) = (\lambda \, \boldsymbol{x}_i^{\top}\boldsymbol{x}_j + \eta)^d\)	比線性核更通常，\(d\) 直接描述了被映射空間的複雜度。	參數多 (有 \(\lambda, \eta, d\) 要選)，且當 \(d\) 很大時會致使計算不穩定。
RBF 核	\(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) = \text{exp} \left(- \frac{||\boldsymbol{x}_i- \boldsymbol{x}_j||^2}{2 \sigma^2} \right)\)	只有一個參數，無計算不穩定問題，擬合能力強。	可解釋性差，計算慢，易過擬合。

因爲 RBF 核是目前最主流的核函數，因此在這裏以其舉例介紹：

RBF 核函數全稱徑向基函數 (Radial Basis Function)，其表達式 \(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) = \text{exp} \left(- \frac{||\boldsymbol{x}_i- \boldsymbol{x}_j||^2}{2 \sigma^2} \right)\) 亦可寫爲 \(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) =\text{exp} (- \gamma||\boldsymbol{x}_i- \boldsymbol{x}_j||^2)\) ，範圍爲 \((0, 1]\) ，其中 \(\gamma = \frac{1}{2\sigma^2}\) 。


RBF 核可理解爲兩個樣本點的類似程度，若兩點 \((\boldsymbol{x}_i, \boldsymbol{x}_j)\) 的類似程度很大，則距離 \(||\boldsymbol{x}_i - \boldsymbol{x}_j||^2\) 越小，使得 \(\text{exp} (- \gamma||\boldsymbol{x}_i- \boldsymbol{x}_j||^2)\) 越大，這意味着高斯核具備「局部（local）」特徵，只有相對鄰近的樣本點會對測試點的分類產生較大做用。 \(\gamma > 0\)，即爲 scikit-learn 中的 svm 超參數 \(\gamma\)，\(\gamma\) 越大，意味着兩個點只有至關接近時纔會被判爲類似，這樣決策邊界會變得較爲扭曲，容易過擬合，由於只取決於較少的幾個樣本點。相反，\(\gamma\) 越小，大量的點被判爲近似，在模型中起了做用，於是致使模型變得簡單，容易欠擬合。


RBF 核還有個吸引人的特性，那就是能夠從原始空間映射到無限維特徵空間，下面舉例說明式如何作到的： 設 \(\sigma = \sqrt{\frac12}\) ，則 RBF 核的轉換以下 (兩種顏色分別表示 \(\boldsymbol{x}_i\) 和 \(\boldsymbol{x}_j\) 對應的部分)：

\[ \begin{align*} \kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) & = \text{exp}(-||\color{blue}{\boldsymbol{x}_i} - \color{fuchsia}{\boldsymbol{x}_j} ||^2) \tag{2.1} \\ & = \color{blue}{\text{exp}(-||\boldsymbol{x}_i||^2)} \,\color{fuchsia}{\text{exp}(-||\boldsymbol{x}_j||^2)} \text{exp} (2\color{blue}{||\boldsymbol{x}_i||} \, \color{fuchsia}{||\boldsymbol{x}_j||}) \tag{2.2} \\ & = \color{blue}{\text{exp}(-||\boldsymbol{x}_i||^2)} \,\color{fuchsia}{\text{exp}(-||\boldsymbol{x}_j||^2)} \left(\sum\limits_{n=0}^\infty \frac{(2\color{blue}{||\boldsymbol{x}_i||} \, \color{fuchsia}{||\boldsymbol{x}_j||})^n}{n\, !}\right) \tag{2.3} \\ & = \sum\limits_{n=0}^\infty\left(\color{blue}{\text{exp}(-||\boldsymbol{x}_i||^2)} \color{fuchsia}{\text{exp} (-||\boldsymbol{x}_j||^2)}\color{blue}{\sqrt{\frac{2^n}{n\,!}}}\color{fuchsia}{\sqrt{\frac{2^n}{n\,!}}} \color{blue}{||\boldsymbol{x}_i||^n} \color{fuchsia}{||\boldsymbol{x}_j||^n}\right) \tag{2.4} \\ & = \color{blue}{\phi(\boldsymbol{x}_i)}^{\top}\color{fuchsia}{\phi(\boldsymbol{x}_j)} \end{align*} \]

於是映射的無限維空間爲 \(\phi(\boldsymbol{x}) = \text{exp}(-||\boldsymbol{x}||^2) \begin{bmatrix} 1 \\ \sqrt{\frac{2}{1!}}x \\ \sqrt{\frac{2^2}{2!}}x^2 \\ \vdots \\ \sqrt{\frac{x^\infty}{\infty!}}x^\infty \end{bmatrix}\)

上面的 \((2.2)\) 式到 \((2.3)\) 式使用了 \(e^x\) 的泰勒展開，泰勒公式的簡單解釋就是用多項式函數去逼近原函數，由於用多項式函數每每求解更加容易，而多項式中各項的係數則爲原函數在某一點的n階導數值除以n階乘。

已知函數 \(f(x)\) 在 \(x=x_0\) 處 \(n\) 階可導，那麼：
\[ \begin{aligned} f(x) &= f(x_0) + f'(x_0)(x-x_0) + \frac{f''(x_0)}{2!}(x-x_0)^2 + \cdots + \frac{f^{(n)}(x_0)}{n!}(x-x_0)^n \\ & = \sum\limits_{n=0}^{\infty}\frac{f^{(n)}x_0}{n!}(x - x_0)^n \end{aligned} \]
例如，\(x_0 = 0, \;\; f(x) = e^x\)時，\(e^x = \sum\limits_{n=0}^{\infty}\frac{x^n}{n!} = 1+x+\frac{x^2}{2!} + \frac{x^3}{3!} + \cdots\) ， 明白了這個後相信不難理解上面 RBF 核的推導。

/