BP神經網絡（原理及MATLAB實現）

人工神經網絡概述：

人工神經元模型：

神經網絡的分類：

按照鏈接方式，能夠分爲：前向神經網絡 vs. 反饋（遞歸）神經網絡；

按照學習方式，能夠分爲：有導師學習神經網絡 vs. 無導師學習神經網絡；

按照實現功能，能夠分爲：擬合（迴歸）神經網絡 vs. 分類神經網絡。

 

數據歸一化：將數據映射到[0, 1]或[-1, 1]區間或其餘的區間。

數據歸一化的緣由：

1.輸入數據的單位不同，有些數據的範圍可能特別大，致使的結果是神經網絡收斂慢、訓練時間長。
2.數據範圍大的輸入在模式分類中的做用可能會偏大，而數據範圍小的輸入做用就可能會偏小。
3.因爲神經網絡輸出層的激活函數的值域是有限制的，所以須要將網絡訓練的目標數據映射到激活函數的值域。例如神經網絡的輸出層若採用S形激活
函數，因爲S形函數的值域限制在(0,1)，也就是說神經網絡的輸出只能限制在(0,1)，因此訓練數據的輸出就要歸一化到[0,1]區間。
4.S形激活函數在(0,1)區間之外區域很平緩，區分度過小。例如S形函數f(X)在參數a=1時，f(100)與f(5)只相差0.0067。
歸一化算法：
1.y = ( x - min )/( max - min )；
2.y = 2 * ( x - min ) / ( max - min ) - 1。

部分函數：

參數對BP神經網絡性能的影響：

隱含層神經元節點個數

激活函數類型的選擇

學習率

初始權值與閾值

交叉驗證

訓練集

測試集

驗證集

留一法

 

MATLAB實現程序：

 1 %% I. 清空環境變量
 2 clear all
 3 clc
 4 
 5 %% II. 訓練集/測試集產生
 6 %%
 7 % 1. 導入數據
 8 load spectra_data.mat
 9 
10 %%
11 % 2. 隨機產生訓練集和測試集
12 temp = randperm(size(NIR,1));
13 % 訓練集——50個樣本
14 P_train = NIR(temp(1:50),:)';
15 T_train = octane(temp(1:50),:)';
16 % 測試集——10個樣本
17 P_test = NIR(temp(51:end),:)';
18 T_test = octane(temp(51:end),:)';
19 N = size(P_test,2);
20 
21 %% III. 數據歸一化
22 [p_train, ps_input] = mapminmax(P_train,0,1);
23 p_test = mapminmax('apply',P_test,ps_input);
24 
25 [t_train, ps_output] = mapminmax(T_train,0,1);
26 
27 %% IV. BP神經網絡建立、訓練及仿真測試
28 %%
29 % 1. 建立網絡
30 net = newff(p_train,t_train,9);
31 
32 %%
33 % 2. 設置訓練參數
34 net.trainParam.epochs = 1000;
35 net.trainParam.goal = 1e-3;
36 net.trainParam.lr = 0.01;
37 
38 %%
39 % 3. 訓練網絡
40 net = train(net,p_train,t_train);
41 
42 %%
43 % 4. 仿真測試
44 t_sim = sim(net,p_test);
45 
46 %%
47 % 5. 數據反歸一化
48 T_sim = mapminmax('reverse',t_sim,ps_output);
49 
50 %% V. 性能評價
51 %%
52 % 1. 相對偏差error
53 error = abs(T_sim - T_test)./T_test;
54 
55 %%
56 % 2. 決定係數R^2
57 R2 = (N * sum(T_sim .* T_test) - sum(T_sim) * sum(T_test))^2 / ((N * sum((T_sim).^2) - (sum(T_sim))^2) * (N * sum((T_test).^2) - (sum(T_test))^2)); 
58 
59 %%
60 % 3. 結果對比
61 result = [T_test' T_sim' error']
62 
63 %% VI. 繪圖
64 figure
65 plot(1:N,T_test,'b:*',1:N,T_sim,'r-o')
66 legend('真實值','預測值')
67 xlabel('預測樣本')
68 ylabel('辛烷值')
69 string = {'測試集辛烷值含量預測結果對比';['R^2=' num2str(R2)]};
70 title(string)

 

運行效果截圖：