自組織神經網絡介紹：自組織特徵映射SOM(Self-organizing feature Map)，第二部分

上一篇介紹了一些自組織神經網絡的基本概念，第一部分，這一篇講下SOM的概念和原理，是本文的第二部分。

一、SOM背景

1981年芬蘭Helsink大學的T.Kohonen教授提出一種自組織特徵映射網，簡稱SOM網，又稱Kohonen網。Kohonen認爲：一個神經網絡接受外界輸入模式時，將會分爲不一樣的對應區域，各區域對輸入模式具備不一樣的響應特徵，並且這個過程是自動完成的。自組織特徵映射正是根據這一見解提出來的，其特色與人腦的自組織特性相相似。

二、SOM典型結構

典型SOM網共有兩層，輸入層模擬感知外界輸入信息的視網膜，輸出層模擬作出響應的大腦皮層。（講以前再提醒一句，這裏介紹的只是經典形式，可是但願讀者和我本身不要被現有形式束縛了思惟，固然初學者，包括我本身，先從基本形式開始理解吧）。 下圖是1維和2維的兩個SOM網絡示意圖。

SOM網的權值調整域
和上一節介紹的WTA策略不一樣，SOM網的獲勝神經元對其鄰近神經元的影響是由近及遠，由興奮逐漸轉變爲抑制，所以其學習算法中不只獲勝神經元自己要調整權向量，它周圍的神經元在其影響下也要程度不一樣地調整權向量。這種調整可用三種函數表示，下圖的bcd。

Kohonen算法：基本思想是獲勝神經元對其鄰近神經元的影響是由近及遠，對附近神經元產生興奮影響逐漸變爲抑制。在SOM中，不只獲勝神經元要訓練調整權值，它周圍的神經元也要不一樣程度調整權向量。常見的調整方式有以下幾種[2]：

• 墨西哥草帽函數：獲勝節點有最大的權值調整量，臨近的節點有稍小的調整量，離獲勝節點距離越大，權值調整量越小，直到某一距離0d時，權值調整量爲零；當距離再遠一些時，權值調整量稍負，更遠又回到零。如(b)所示
• 大禮帽函數：它是墨西哥草帽函數的一種簡化，如（c）所示。
• 廚師帽函數：它是大禮帽函數的一種簡化，如（d）所示。

以獲勝神經元爲中心設定一個鄰域半徑R，該半徑圈定的範圍稱爲優勝鄰域。在SOM網學習算法中，優
勝鄰域內的全部神經元均按其離開獲勝神經元的距離遠近不一樣程度地調整權值。 優勝鄰域開始定得很大，但其大小隨着訓練次數的增長不斷收縮，最終收縮到半徑爲零。

三、SOM Kohonen 學習算法

算法總結以下：

Kohonen學習算法

1. 初始化，對競爭層（也是輸出層）各神經元權重賦小隨機數初值，並進行歸一化處理，獲得 w^j,j=1,2,...m ；創建初始優勝領域 Nj∗(0) ；學習率 η 初始化；
2. 對輸入數據進行歸一化處理，獲得 X^p,j=1,2,...P ，總共有P個數據；
3. 尋找獲勝神經元：從 X^p 與全部 w^j 的內積中找到最大 j∗ ；
4. 定義優勝鄰域 Nj∗(t) 以 j∗ 爲中心肯定 t 時刻的權值調整域，通常初始鄰域 Nj∗(0) 較大，訓練時 Nj∗(t) 隨訓練時間逐漸收縮；

5. 調整權重，對優勝鄰域 Nj∗(t) 內的全部神經元調整權重：
   

   wij(t+1)=wij(t)+η(t,N)[xPi−wij(t)]i=1,2,...,nj∈Nj∗(t)
   
   其中 i 是一個神經元全部輸入邊的序標。式中， η(t,N) 是訓練時間 t 和鄰域內第j個神經元與獲勝神經元 j∗ 之間的拓撲距離N的函數，該函數通常有以下規律：
   

6. 結束檢查，查看學習率是否減少到0，或者以小於閾值。

第（5）點的規律是說，隨着時間（離散的訓練迭代次數）變長，學習率逐漸下降；隨着拓撲距離的增大，學習率下降。學習率函數的形式通常能夠寫成這樣： η(t,N)=η(t)e−N ，其中 η(t) 可採用t的單調降低函數也稱退火函數，好比下面這些形式都符合要求：

第（4）點中，j*的領域 Nj∗(t) 是隨時間逐漸收縮的，好比說下圖，其中8個鄰點稱爲Moore neighborhoods，6個鄰點的稱爲hexagonal grid。隨着t的增大，鄰域逐漸縮小。

本篇最後看一個SOM工做原理示意圖，首先給定訓練數據（綠點）和神經元權重初始值（紅花）

經過迭代訓練以後，神經元權重趨向於聚類中心；

Test階段，給定數據點（黃點），基於WTA策略，用內積直接算出和哪一個神經元最類似就是分到哪一個類。

算法流程總結

OK，本篇就到這裏，描述了SOM的基本原理與訓練方法；下一篇將講解SOM實際應用的例子，也是SOM介紹的最後一部分。

參考資料

[1] https://en.wikipedia.org/wiki/Self-organizing_map [2] 百度文庫，《SOM自組織特徵映射神經網絡》 [3] 《第四章 自組織競爭型神經網絡》, PPT