BAM 雙向聯想記憶神經網絡

神經網絡的聯想記憶功能能夠分爲兩種，一是自聯想記憶，另外一種是異聯想記憶。

① 自聯想記憶（ Associative memory）：假定有 m 個樣本矢量 X (i)，其中 i= 0,1,2,3...m-1.若網絡輸入 X j= X k + ∆ ， X k 表示第 k 個樣本， ∆ 是因爲噪聲﹑ 干擾或圖形缺損等因素引發的誤差。要求輸出Y = X k ，也即去掉誤差使信號按樣本復原。神經網絡所具備的此種功能稱爲自聯想記憶功能。

② 異聯想記憶（ Hetero-associative memory）：與自聯想記憶不一樣，它涉及兩組樣本，若樣本 X k 與樣本 Z k 一一對應，當具備誤差的輸入信號爲 X = X kj + ∆ 時，輸出爲Y = Z k ，此聯想爲異聯想功能。

Hopfield 神經網絡屬於自聯想記憶。下面將討論異聯想記憶神經網絡，重點介紹由Kosko B.1988 年提出的雙向聯想記憶神經網絡 BAM(Bidirectional

Associative Memory)。BAM有離散型﹑連續型和自適應型等多種形式。

此處主要介紹離散型 BAM 神經網絡。

1. BAM 結構﹑算法及穩定性

1.1 BAM 結構及工做原理

若 N 維矢量 A 與 M 維矢量 B 的表達式分別以下：

構成一組矢量對 ，共有 P 對樣本矢量。將它們存入雙向聯想存儲器便可進行由 A 到 B 或由 B 到 A 的雙向聯想。即給定 A（或 B ）能夠經聯想做用獲得對應的標準樣本 B （或 A ）。當有噪聲或缺損時，聯想功能可使樣本對復原。

1．BAM 神經網絡結構

利用人工神經網絡實現的 BAM 有多種形式，此處介紹一種最基本的形式，也稱 Kosko型 BAM。下圖給出了由雙層雙向網絡構成的 BAM 結構，其中，與矢量 A 相應的一層有 N 個節點，另外一層對應矢量 B ，由 M 個節點構成。兩層之間雙向鏈接。假定由 B 向 A 的傳輸爲正向，正向的突觸權重矩陣爲W ；反之，由 A 向 B 的傳輸爲反向 。

2． BAM 神經網絡工做原理

若是輸入矢量由上層加入，且相應於網絡中 B 的狀態，則經W 的做用產生 A 的穩定狀態。一樣，若是輸入矢量由下層加入，且相應於網絡中 A 的狀態，則W T 的做用產生 B 的穩定狀態。當任意矢量輸入時，網絡要通過若干次迭代計算演變到穩定狀態。爲了說明此過程，能夠將 BAM 與自聯想記憶原理相對比，對自聯想來講，其演變過程爲：

WX(t)=X(t+1)

WX (t+1)=X(t+2)

• • • • • •
→  X(t+k)

經 k 次迭代後收斂，對應網絡的穩定狀態。

對 BAM 雙向聯想神經網絡，當任意矢量輸入時，網絡迭代演變過程爲：

直到 A ﹑ B 均爲穩定狀態，演變過程結束。

1.2 BAM 權矩陣設計及穩定性分析

1．BAM 權矩陣設計

BAM 網 絡 的 學 習 仍 按 Hebb 規 則 進 行 。 若 給 定 P 個 雙 極 性 矢 量 對 ：

 

由這些樣本計算權重矩陣表達式爲：

2．BAM 穩定性分析

若是 BAM 網絡神經元函數的閾值等於零，則稱爲齊次 BAM 網絡。定義齊次 BAM 網絡的能量函數爲：

通常狀況下，神經元非線性函數閾值非零，此時構成非齊次 BAM 網絡。它的能量函數表達式爲：

θ i 爲 A 的第i 元素 ai 對應的閾值， µ j 爲 B 的第 j 元素b j 對應的閾值，假設神經元非線性函數 f 爲硬限幅函數特性，則描述 BAM 動態特性的方程式爲：

正向傳輸（由 B 聯想 A ）

反向傳輸（由 A 聯想 B ）

由以上關係式能夠證實，網絡在演變過程當中能量函數 E 遞減，即 ∆E < 0 。網絡穩定。

本文分享自微信公衆號 - AI MOOC人工智能平臺（AIMOOC_XLAB）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。