【模式識別】學習筆記(2)>>>【判別函數】

判別函數在模式識別系統的主要做用就是判別各個模式所屬的類別。

以下直線描述的判別函數即將模式分爲兩類。

獲取判別函數：

        1-先肯定判別函數形式，線性仍是非線性、直線曲線折線等；

        2-肯定函數係數，經過可分類的模式樣原本肯定。

線性判別函數：

        在線性判別函數求取中，兩類的判別函數當然好求，對於多類的求法咱們有如下兩種方法：

Mi/非Mi二分法：

        以Mi類與其餘M-1類分開爲依據求取判別函數，共需M個判別函數。

Mi/Mj二分法：

        以將Mi於Mj兩兩分開爲依據求取判別函數，共需M*(M-1)/2個判別函數。

        顯然，這兩種分法都會產生不肯定區域（IR），就是切下來的蛋糕沒有人吃了，這讓咱們很惆悵啊。

那麼對於這種狀況，咱們將第二種分法進行改進：

        分解因式dij(x) = di(x) - dj(x) = (wi – wj)Tx，

        則dij(x)>0至關於di(x)>dj(x)，任意j!=i，這時不存在不肯定區域。

        相對於第二種方法，咱們將判別函數的交點都放到一個點上：

如此一來，把M類狀況分紅M-1個兩類問題，共有M個判別函數。

做業：

 

個人解答（不知道對不對）：

        網上搜到一份答案：http://www.docin.com/p-119036970.html

        法一：

        法二：

 

        法三：

 

廣義線性判別函數：

基本思想：

        對於線性不可分的狀況，尋求一種將其轉化爲線性可分的狀況以求取判別函數。

        相對於原模式集x，尋求這樣的x*:x*中各模式份量是x的單值實函數，且其維數k高於x的維數n,也就是：

        x*=(f1(x),f2(x),...,fk(x)),k>n，且x*線性可分，即有：

        d(x*) = wTx*，其中w = (w1, w2, …, wk, wk+1)T

        該式代表，非線性判別函數已被變換成廣義線性，所以只討論線性判別函數不會失去通常性意義，因此人能夠經過相似線性方法肯定判別函數。

當x是二維的狀況:

        即x=(x1 x2) T。若原判別函數爲：

        要線性化爲d(x*) = wTx*，須定義：

        此時，只要把模式空間x*中的份量定義成x的單值實函數，x*即變成線性可分。此時x*的維數（這裏爲6）大於x的維數（這裏爲2）。

當x是n維的狀況：

        此時原判別函數設爲：

        式中各項的組成應包含x的各個份量的二次項、一次項和常數項，其中平方項n個，二次項n(n-1)/2個，一次項n個，常數項一個，其總項數爲：

        n + n(n-1)/2 + n + 1 = (n+1)(n+2)/2 > n

你很容易注意到，以上的模式份量最高次都是2次，那麼問題又來了，對於屢次的模式份量又是什麼樣的呢？

當x爲n維，其判別函數爲r次多項式：

小結：

顯然，d(x)的項數隨r和n的增長會迅速增大，即便原來模式x的維數不高，若採用次數r較高的多項式來變換，也會使變換後的模式x*的維數很高，給分類帶來很大困難。
實際狀況可只取r=2，或只選多項式的一部分，例如r=2時只取二次項，略去一次項，以減小x*的維數。

觸類旁通：

        當咱們的分類狀況是這樣時：

                    類1：x<=2 ||  (x>5 && x<=18)

                    類2：(x>2 && x<=5) || x>18

        那麼，在一維的座標軸中咱們很難將這兩類用一條直線/一個點將其分開，這個時候咱們考察函數式：

y=(x+2)(x-5)(x-18);

即：d(x)=y=x^3-21*x^2+44*x+180;

        這是一個1維3次項狀況，令x1=f1(x)=x^3，x2=f2(x)=x^2，x3=f3(x)=x，

那麼x*=(x1 x2 x3 1) T，wT=(1 -21 44 180)，

        這樣子就經過變換函數系將問題升維轉化爲三維線性判別函數問題進行求解，也就是經過函數y=(x+2)(x-5)(x-18)的符號便可分類，這符合判別函數d(x)的特色。

分類描述：

講了一大通的判別函數，相信您必定是飢渴難耐躍躍欲試了吧，那麼判別函數怎麼用呢。

設有判別函數：d(x)=wTx

那麼其判別界面爲：wTx=0

對兩類問題，ω1類有模式{x1 x2}，ω2類有模式{x3 x4} 

則應知足以下條件：

wTx1>0，wTx2>0，wTx3<0，wTx4<0

所以，若權向量能知足上述四個條件，則wTx=0爲所給模式集的判別界面。