[白話解析] 深刻淺出支持向量機(SVM)之核函數

[白話解析] 深刻淺出支持向量機(SVM)之核函數

0x00 摘要

本文在少用數學公式的狀況下，儘可能僅依靠感性直覺的思考來說解支持向量機中的核函數概念，而且給你們虛構了一個水滸傳的例子來作進一步的通俗解釋。

0x01 問題

在學習核函數的時候，我一直有幾個很好奇的問題。

1. Why 爲何線性可分很重要?

2. Why 爲何低維數據升級到高維數據以後，就能夠把低維度數據線性可分?

3. What 什麼是核函數，其做用是什麼?

4. How 如何可以找到核函數?

不知道你們是否和我同樣有這些疑問，在後文中， 我將經過逐步的學習梳理爲你們講解這些問題。

0x02 相關概念 & 梳理過程

1. 線性分類的意義

分類器：分類器就是給定一個樣本的數據，斷定這個樣本屬於哪一個類別的算法。

特徵：在分類問題中，輸入到分類器中的數據叫作特徵。

線性分類器：線性分類器是分類器中的一種，就是斷定分類結果的根據是經過特徵的線性組合獲得的，不能經過特徵的非線性運算結果做爲斷定根據。好比：

• 一個點能夠把一條一維直線分紅兩部分。
• 一條直線能夠把二維平面分紅兩部分。
• 一個平面能夠把三維空間分紅兩部分。

非線性分類器：就是用非線性運算結果做爲斷定根據。好比二維空間，一個圓能夠進行非線性分割，把空間分紅內部，外部兩部分。

爲何須要線性分開呢？由於：

• 線性分開簡單，性質很容易研究透徹；線性分開只要一條直線或一個平面之類，是曲線中最簡單形式。而非線性分開的狀況太多。僅就二維空間而言，就存在曲線、折線、雙曲線、圓錐曲線、波浪線，以及毫無規律的各類其餘曲線，無法進行統一處理。
• 線性分開推廣能力強，無需創建其餘模型。非線性分類不少時候都是針對具體問題來研究具體曲線模型，沒法很好的推廣。

這樣就回答了咱們第一個問題： 1. Why 爲何線性可分很重要

2. Cover定理

回憶咱們的問題 2. Why：爲何低維數據升級到高維數據以後，就能夠把低維度數據線性可分?

在提高維度後，本來非線性的數據點變得線性可分，這在數學上是有嚴格證實的，即Cover定理。咱們這裏就把Cover定理當公理用。

Cover定理能夠定性地描述爲：將複雜的模式分類問題非線性地投射到高維空間將比投射到低維空間更多是線性可分的，當空間的維數D越大時，在該空間的N個數據點間的線性可分的機率就越大。

或者再通俗的說，這個定理描述的是 線性可分的機率，若是能把數據從低維空間映射到高維空間，咱們就極可能在高維空間把數據作線性可分。對於在N維空間中線性不可分的數據，在N+1維以上的空間會有更大可能變成線性可分的。

因此人們就努力的尋找一種映射，這映射能將樣本從原始空間(低維數據)轉變到高維特徵空間，從而把低維空間中線性不可分的兩類點變成線性可分的。這種映射ϕ(X) 又可稱爲「特徵構建」，映射後的向量可稱之爲「特徵向量」。好比

向量

X = [1, x1, x2]

構建映射

ϕ(X) = ϕ( [1, x1, x2] ) = [1, x1, x2, x1^2， x2^2， x1.x2]

這樣，Cover定理就回答了咱們第二個問題，咱們不去具體研究它的數學論證，就把它看成公理用。

3. 向量內積的幾何意義

內積（點乘）的幾何意義包括：

• 表徵或計算兩個向量之間的夾角
• b向量在a向量方向上的投影

因此，內積是一種在某維空間裏面度量其數據類似度一種手段，就是在該空間內兩個向量的關係。好比兩個數據點之間的距離和角度。

分類須要內積是由於內積的正負表明了數據點是位於分類邊界的正方向仍是負方向，從而實現分類。

在高維空間，咱們能夠用向量內積來作線性分類。

4. 高維空間計算的複雜性

映射能夠看做是一種拉伸，把低維數據拉伸到了高維。雖然如今咱們到了高維空間號稱線性可分，可是有幾個困難：

• 不知道什麼樣的映射函數是完美的。
• 難以在各類映射函數中找到一個合適的。
• 高維空間計算量比較大。這樣就會產生維災難，計算內積是不現實的。

幸運的是，在計算中發現，咱們須要的只是兩個向量在新的映射空間中的內積結果，而映射函數究竟是怎麼樣的其實並不須要知道。因而這樣就引入了核函數的概念。

核函數事先在低維上計算，而將實質上的分類效果表如今了高維上，也就是

• 包含映射，內積，類似度的邏輯。

• 消除掉把低維向量往高維映射的過程。

• 避免了直接在高維空間內的複雜計算。

即核函數除了可以完成特徵映射，並且還能把特徵映射以後的內積結果直接返回。即把高維空間得內積運算轉化爲低維空間的核函數計算。

注意，核函數只是將徹底不可分問題，轉換爲可分或達到近似可分的狀態。

5. 核函數（kernel function）定義

關於咱們第三個問題 What 什麼是核函數，其做用是什麼?，如今解答以下。

核函數是這樣的一種函數：

仍然以二維空間爲例，假設對於變量x和y，將其映射到新空間的映射函數爲φ，則在新空間中，兩者分別對應φ(x)和φ(y)，他們的內積則爲<φ(x),φ(y)>。

咱們令函數Kernel(x,y)=<φ(x),φ(y)>=k(x,y)，

能夠看出，函數Kernel(x,y)是一個關於x和y的函數！而與φ無關！這是一個多麼好的性質！咱們不再用管φ具體是什麼映射關係了，只須要最後計算Kernel(x,y)就能夠獲得他們在高維空間中的內積。

咱們則稱Κ(x,y)爲核函數，φ(x)爲映射函數。

下面舉出三個網上的好例子:

令 x = (x1, x2, x3, x4); y = (y1, y2, y3, y4)；
令 f(x) = (x1. x1, x1.x2, x1.x3, x1.x4, x2.x1, x2.x2, x2.x3, x2.x4, x3.x1, x3.x2, x3.x3, x3.x4, x4.x1, x4.x2, x4.x3, x4.x4); f(y)亦然；
這樣就實現了四維到更高維度的轉換。

讓咱們帶幾個簡單的數字進去看看是個什麼效果：

x = (1, 2, 3, 4); y = (5, 6, 7, 8). 那麼：
f(x) = ( 1, 2, 3, 4, 2, 4, 6, 8, 3, 6, 9, 12, 4, 8, 12, 16) ;
f(y) = (25, 30, 35, 40, 30, 36, 42, 48, 35, 42, 49, 56, 40, 48, 56, 64) ;
<f(x), f(y)> = 25+60+105+160+60+144+252+384+105+252+441+672+160+384+672+1024
= 4900.

若是咱們用核函數呢？
K(x, y) = (x1.y1 + x2.y2 + x3.y3 + x4.y4) ^2= (5+12+21+32)^2 = 70^2 = 4900.
因此核函數kernel其實就是幫咱們省去在高維空間裏進行繁瑣計算的「簡便運算法」。

另一個例子

「你在你的一輩子中可能會經歷不少變故，可能會變成徹底不一樣的另外一我的，可是這個世界上只有一個你，我要怎樣才能把不一樣的「你」分開呢？最直觀的方法就是增長「時間」這個維度，雖然這個地球上只有一個你，這個你是不可分割的，可是「昨天在中國的你」和「今天在美國的你」在時間+空間這個維度倒是能夠被分割的。」

最後一個例子

假設咱們的任務是要預測那些微博能夠上微博熱搜榜。有兩個離散特徵，一個表明某個微博裏有 「鹿晗」，一個表明某個微博裏有 「關曉彤」。

兩個特徵單獨看熱度都通常，此時咱們用二階多項式核方法：
\[ K(鹿晗，關曉彤) = <鹿晗，關曉彤>^2 \]
這個核函數能夠把二維空間投射到三維空間，展開以後是：
\[ K(鹿晗，關曉彤) = <鹿晗，關曉彤>^2 = (鹿晗^2, \sqrt{2} 鹿晗 . 關曉彤, 關曉彤^2) \]

這樣就把二維特徵變成了三維，多了一維 」鹿晗 x 關曉彤 「，表明着某條微博裏鹿晗和關曉彤同時出現。

結果你們都知道了，鹿晗關曉彤同時出現的那條微博超級火，把新浪服務器都擠爆了。

咱們大體可以獲得核函數以下性質：

• 核函數給出了任意兩個樣本之間關係的度量，好比類似度。
• 每個能被叫作核函數的函數，裏面都藏着一個對應拉伸的函數。這些核函數的命名一般也跟如何作拉伸變換有關係。
• 核函數和映射自己沒有直接關係。選哪一個核函數，實際上就是在選擇用哪一種方法映射。經過核函數，咱們就能跳過映射的過程。
• 咱們只須要核函數，而不須要那個映射，也沒法顯式的寫出那個映射。
• 選擇核函數就是把原始數據集上下左右先後拉扯揉捏，直到你一刀下去正好把全部的 0 分到一邊，全部的 1 分到另外一邊。這個上下左右先後拉扯揉捏的過程就是kernel.

6. Mercer定理

核函數使得計算一對向量的核函數等價與在變換後的空間中計算這對向量的內積。

可是接下來就是咱們第四個問題 How 如何可以找到核函數?，

這個就是Mercer定理能完成的。Mercer定理也是嚴格證實過的數學定理，咱們也把他當公理用。

Mercer定理的大體內容是：任何半正定對稱函數均可以做爲核函數。

正定性使得函數極限方向惟一且大於等於零，同時正定性產生的優化問題都是有良好凸優化性質，從而把原始空間的度量概念能移植到特徵空間(融入了角和內積)中去。

數學家在理論指導下經過各類實驗找出核函數，而後看看具體效果，若是效果好，就正式發佈確認這種核函數。有點相似由果推因。

0x03 梁山好漢如何看待覈函數

可以讓人們理解概念最好的方式就是比喻/舉例子。下面讓咱們用水滸傳的故事來給你們舉例說明核函數。

話說宋江吳用兩個神棍利用石碑來忽悠梁山衆好漢，搞出了英雄排座次，具體以下：

第七十一回 忠義堂石碣受天文　梁山泊英雄排座次

宋江先說要開大會，以此來做秀。

今者一百八人皆在面前聚會，端的從古到今，實爲罕有。從前 兵刃處處，殺害生靈，無可禳謝。我心中欲建一羅天大醮，報答天地神明眷佑之恩

這就是要開始玩把戲了

是夜三更時候，只聽得天上一聲響，如裂帛類似，正是西北乾方天門上。衆人 看時，直豎金盤：兩頭尖，中間闊，又喚作天門開，又喚作天眼開，裏面毫光射人 眼目，霞彩繚繞，從中間卷出一塊火來，如栲栳之形，直滾下虛皇壇來。那團火繞 壇滾了一遭，竟鑽入正南地下去了。此時天眼已合，衆道士下壇來，宋江隨即叫人 將鐵鍬鋤頭掘開泥土，根尋火塊。那地下掘不到三尺深淺，只見一個石碣，正面兩 側，各有天書文字。有詩爲證： 忠義英雄迥結臺，感通上帝亦奇哉! 人間善惡皆招報，天眼什麼時候不大開!

取出事先準備好的石碑

當下宋江且教化紙滿散。平明，齋衆道士，各贈與金帛之物，以充襯資。方纔 取過石碣看時，上面乃是龍章鳳篆蝌蚪之書，人皆不識。衆道士內有一人姓何，法諱玄通，對宋江說道：「小道家間祖上留下一冊文書，專能辨驗天書，那上面自古 都是蝌蚪文字，以此貧道善能辨認，譯將出來，便知端的。」宋江聽了大喜，連忙 捧過石碣，教何道士看了，良久說道：「此石都是義士大名鐫在上面：側首一邊是 ‘替天行道’四字，一邊是‘忠義雙全’四字；頂上皆有星辰南北二斗；下面倒是 尊號。若不見責，當以從頭一一敷宣。」宋江道：「幸得高士指迷，緣分不淺，若 蒙見教，實感大德。惟恐上天見責之言，請勿藏匿，萬望盡情剖露，休遺片言。」 宋江喚過聖手書生蕭讓，用黃紙謄寫。何道士乃言：「前面有天書三十六行，皆是 天罡星；背後也有天書七十二行，皆是地煞星，下面注着衆義士的姓名。」觀看良 久，教蕭讓從頭至後，盡數抄謄。

因而宋江假借上天來作了權利分配

宋江 與衆頭領道：「鄙猥小吏，原來上應星魁，衆多弟兄也原來都是一會之人。上天顯 應，合當聚義。今已數足，上蒼分定位數，爲大小二等。天罡、地煞星辰，都已分 定次序，衆頭領各守其位，各休爭執，不可逆了天言。」衆人皆道：「天地之意， 物理數定，誰敢違拗？」

衆好漢中，有明白人就僞裝信了，有糊塗人就信覺得真。可是有死心眼的好比 沒面目焦挺想不通，就去找 打虎將李忠問問究竟。

焦挺：「李忠哥哥，小弟一事不明。我這身手你也知道，李逵那樣的我一我的能打兩個。但是爲啥他就是 天殺星黑旋風李逵？我就是地惡星沒面目焦挺，究竟是根據啥計算出這個座次的?「。

李忠心中暗道，你個棒槌，表面上還得微笑道：

「兄弟。這個公明哥哥用的是特徵映射啊。就是把每一個人的信息映射到天上去，讓上蒼安排具體座次。你在地下是三維空間，天上但是N維空間呀。好比你在地上吧，你的低維信息就是：名稱，籍貫，身手，出身等等。映射到上蒼，那就是高維信息，好比：星宿具體排列順序，星宿的形狀，和黃道的位置，和太陰星的位置，加上四象八卦六壬等「，最後綜合考慮得出了你的排名。

焦挺一瞪眼睛："那麼多高維信息，我咋計算。能不能說人話，否則我認得哥哥，我手裏的杆棒認不得哥哥"。

李忠忙陪笑到:

」兄弟，這個映射和高維計算問題太麻煩，咱們在三維空間內能夠用核函數直接來計算出結果，就不用映射和高維計算了。這個核函數考慮的就是：

第一條依據：根據名望來排，好比世系身份的高低/入夥梁山以前的身份高低。
第二條依據：公明哥哥的嫡系力量，公明哥哥根據我的的喜歡程度，以及與公明哥哥的親疏程度。
第三條依據：武藝高低。

如今你明白了嘛?「

焦挺恍然大悟："李忠哥哥你是老江湖啊，來，咱倆吃酒去......"

0x04 參考

核函數K（kernel function）

機器學習-白話SVM原理

專家坐堂：機器學習中對核函數的理解

機器學習有不少關於核函數的說法，核函數的定義和做用是什麼？

對SVM的我的理解---淺顯易懂

SVM從初始到應用

【ML系列】「非線性」二元分類

支持向量機（三）核函數

支持向量機通俗導論（理解SVM的三層境界）

支持向量機: Kernel