【BP預測】基於人工蜂羣算法改進BP神經網絡實現數據預測

時間 2021-07-26

標籤算法網絡 dom 函數 oop 測試優化 lua spa 欄目系統網絡简体版

原文原文鏈接

1、 BP神經網絡預測算法簡介

說明：1.1節主要是歸納和幫助理解考慮影響因素的BP神經網絡算法原理，即常規的BP模型訓練原理講解（可根據自身掌握的知識是否跳過）。1.2節開始講基於歷史值影響的BP神經網絡預測模型。算法

使用BP神經網絡進行預測時，從考慮的輸入指標角度，主要有兩類模型：網絡

1.1 受相關指標影響的BP神經網絡算法原理

如圖一所示，使用MATLAB的newff函數訓練BP時，能夠看到大部分狀況是三層的神經網絡（即輸入層，隱含層，輸出層）。這裏幫助理解下神經網絡原理：
1）輸入層：至關於人的五官，五官獲取外部信息，對應神經網絡模型input端口接收輸入數據的過程。
2）隱含層：對應人的大腦，大腦對五官傳遞來的數據進行分析和思考，神經網絡的隱含層hidden Layer對輸入層傳來的數據x進行映射，簡單理解爲一個公式hiddenLayer_output=F(w*x+b)。其中，w、b叫作權重、閾值參數，F()爲映射規則，也叫激活函數，hiddenLayer_output是隱含層對於傳來的數據映射的輸出值。換句話說，隱含層對於輸入的影響因素數據x進行了映射，產生了映射值。
3）輸出層：能夠對應爲人的四肢，大腦對五官傳來的信息通過思考（隱含層映射）以後，再控制四肢執行動做（向外部做出響應）。相似地，BP神經網絡的輸出層對hiddenLayer_output再次進行映射，outputLayer_output=w *hiddenLayer_output+b。其中，w、b爲權重、閾值參數，outputLayer_output是神經網絡輸出層的輸出值（也叫仿真值、預測值）（理解爲，人腦對外的執行動做，好比嬰兒拍打桌子）。
4）梯度降低算法：經過計算outputLayer_output和神經網絡模型傳入的y值之間的誤差，使用算法來相應調整權重和閾值等參數。這個過程，能夠理解爲嬰兒拍打桌子，打偏了，根據偏離的距離遠近，來調整身體使得再次揮動的胳膊不斷靠近桌子，最終打中。dom

再舉個例子來加深理解：函數

圖一所示BP神經網絡，具有輸入層、隱含層和輸出層。BP是如何經過這三層結構來實現輸出層的輸出值outputLayer_output，不斷逼近給定的y值，從而訓練獲得一個精準的模型的呢？oop

從圖中串起來的端口，能夠想到一個過程：坐地鐵，將圖一想象爲一條地鐵線路。王某某坐地鐵回家的一天：在input起點站上車，中途通過了不少站（hiddenLayer），而後發現坐過頭了（outputLayer對應如今的位置），那麼王某某將會根據如今的位置離家（目標Target）的距離（偏差Error），返回到中途的地鐵站（hiddenLayer）從新坐地鐵（偏差反向傳遞，使用梯度降低算法更新w和b），若是王某某又一次發生失誤，那麼將再次進行這個調整的過程。測試

從在嬰兒拍打桌子和王某某坐地鐵的例子中，思考問題：BP的完整訓練，須要先傳入數據給input，再通過隱含層的映射，輸出層獲得BP仿真值，根據仿真值與目標值的偏差，來調整參數，使得仿真值不斷逼近目標值。好比（1）嬰兒受到了外界的干擾因素（x），從而做出反應拍桌（predict），大腦不斷的調整胳膊位置，控制四肢拍準（y、Target）。（2）王某某上車點（x），過站點（predict），不斷返回中途站來調整位置，到家（y、Target）。優化

在這些環節中，涉及了影響因素數據x，目標值數據y（Target）。根據x，y，使用BP算法來尋求x與y之間存在的規律，實現由x來映射逼近y，這就是BP神經網絡算法的做用。再多說一句，上述講的過程，都是BP模型訓練，那麼最終獲得的模型雖然訓練準確，可是找到的規律（bp network）是否準確與可靠呢。因而，咱們再給x1到訓練好的bp network中，獲得相應的BP輸出值（預測值）predict1，經過做圖，計算Mse，Mape，R方等指標，來對比predict1和y1的接近程度，就能夠知道模型是否預測準確。這是BP模型的測試過程，即實現對數據的預測，而且對比實際值檢驗預測是否準確。

圖一 3層BP神經網絡結構圖ui

1.2 基於歷史值影響的BP神經網絡

以電力負荷預測問題爲例，進行兩種模型的區分。在預測某個時間段內的電力負荷時：lua

一種作法，是考慮 t 時刻的氣候因素指標，好比該時刻的空氣溼度x1，溫度x2，以及節假日x3等的影響，對 t 時刻的負荷值進行預測。這是前面1.1所說的模型。spa

另外一種作法，是認爲電力負荷值的變化，與時間相關，好比認爲t-1，t-2，t-3時刻的電力負荷值與t時刻的負荷值有關係，即知足公式y(t)=F(y(t-1),y(t-2),y(t-3))。採用BP神經網絡進行訓練模型時，則輸入到神經網絡的影響因素值爲歷史負荷值y(t-1),y(t-2),y(t-3)，特別地，3叫作自迴歸階數或者延遲。給到神經網絡中的目標輸出值爲y(t)。

2、人工蜂羣算法

受到蜜蜂羣體的有組織的覓食過程的啓發，Karaboga提出了模擬蜜蜂羣體覓食過程的人工蜂羣(Artificial Bee Colony) 算法用於解決多維度多峯谷的優化問題。該算法創始之初被用來尋找Sphere、Rosenbrock和Rastrigin函數的最小值。首先對蜜蜂基於搖擺舞進行覓食的過程特徵進行介紹。在圖1中，存在兩個已發現的食物源A和B。初始時，潛在工蜂以非僱傭蜂的身份進行搜索。它並不知道蜂房附近的任何蜜源的信息。所以，它有如下兩個可能的選擇：（1）成爲一個偵察蜂，秉着自身潛在動力或外在因素自發的搜索蜂房附近的區域(見圖1中的S)；（2）在觀看擺尾舞后，成爲一個被招募者，並開始搜索蜜源(見圖1中的R)。在定位蜜源以後，該蜜蜂可以利用自身的能力來記住食物源的位置，並馬上對它進行探索。該蜜蜂如今成爲了一個僱傭蜂。僱傭蜂採到蜂蜜後，從蜜源處返回蜂房並將蜂蜜卸載到蜜室中。在卸載完蜂蜜後，僱傭蜂有下列三個選擇：（1）放棄已經採集過的蜜源，成爲一個受其餘搖尾舞招募的跟隨者(UF)。（2）施展搖尾舞技，招募蜂房內的同伴，再次回到原先採集過的食物源(EF1)。（3）不招募其它的蜜蜂，繼續探索採集過的食物源(EF2)。

圖1 蜜蜂覓食行爲圖

2、算法流程

人工蜂羣算法由連續的四個階段組成，分別是初始化階段、引領(僱傭)蜂階段、跟隨蜂階端和偵察蜂階段。人工蜂羣算法中將人工蜂羣分爲引領蜂、跟隨蜂和偵察蜂三類，每一次搜索過程當中，引領蜂和跟隨蜂是前後開採食物源，即尋找最優解，而偵察蜂是觀察是否陷入局部最優，若陷入局部最優則隨機地搜索其它可能的食物源。每一個食物源表明問題一個可能解，食物源的花蜜量對應相應解的質量（適應度值f i t fitfit）。 ABC算法流程圖如圖2所示。

圖2 ABC算法流程圖

一、初始化階段

二、引領蜂階段

三、跟隨蜂階段

四、偵察蜂階段

五、食物源

3、部分代碼

%

clc;
clear;
close all;

%% Problem Definition

CostFunction=@(x) Sphere(x);        % Cost Function

nVar=5;             % Number of Decision Variables

VarSize=[1 nVar];   % Decision Variables Matrix Size

VarMin=-10;         % Decision Variables Lower Bound
VarMax= 10;         % Decision Variables Upper Bound

%% ABC Settings

MaxIt=200;              % Maximum Number of Iterations

nPop=100;               % Population Size (Colony Size)

nOnlooker=nPop;         % Number of Onlooker Bees

L=round(0.6*nVar*nPop); % Abandonment Limit Parameter (Trial Limit)

a=1;                    % Acceleration Coefficient Upper Bound

%% Initialization

% Empty Bee Structure
empty_bee.Position=[];
empty_bee.Cost=[];

% Initialize Population Array
pop=repmat(empty_bee,nPop,1);

% Initialize Best Solution Ever Found
BestSol.Cost=inf;

% Create Initial Population
for i=1:nPop
    pop(i).Position=unifrnd(VarMin,VarMax,VarSize);
    pop(i).Cost=CostFunction(pop(i).Position);
    if pop(i).Cost<=BestSol.Cost
        BestSol=pop(i);
    end
end

% Abandonment Counter
C=zeros(nPop,1);

% Array to Hold Best Cost Values
BestCost=zeros(MaxIt,1);

%% ABC Main Loop

for it=1:MaxIt
    
    % Recruited Bees
    for i=1:nPop
        
        % Choose k randomly, not equal to i
        K=[1:i-1 i+1:nPop];
        k=K(randi([1 numel(K)]));
        
        % Define Acceleration Coeff.
        phi=a*unifrnd(-1,+1,VarSize);
        
        % New Bee Position
        newbee.Position=pop(i).Position+phi.*(pop(i).Position-pop(k).Position);
        
        % Evaluation
        newbee.Cost=CostFunction(newbee.Position);
        
        % Comparision
        if newbee.Cost<=pop(i).Cost
            pop(i)=newbee;
        else
            C(i)=C(i)+1;
        end
        
    end
    
    % Calculate Fitness Values and Selection Probabilities
    F=zeros(nPop,1);
    MeanCost = mean([pop.Cost]);
    for i=1:nPop
        F(i) = exp(-pop(i).Cost/MeanCost); % Convert Cost to Fitness
    end
    P=F/sum(F);
    
    % Onlooker Bees
    for m=1:nOnlooker
        
        % Select Source Site
        i=RouletteWheelSelection(P);
        
        % Choose k randomly, not equal to i
        K=[1:i-1 i+1:nPop];
        k=K(randi([1 numel(K)]));
        
        % Define Acceleration Coeff.
        phi=a*unifrnd(-1,+1,VarSize);
        
        % New Bee Position
        newbee.Position=pop(i).Position+phi.*(pop(i).Position-pop(k).Position);
        
        % Evaluation
        newbee.Cost=CostFunction(newbee.Position);
        
        % Comparision
        if newbee.Cost<=pop(i).Cost
            pop(i)=newbee;
        else
            C(i)=C(i)+1;
        end
        
    end
    
    % Scout Bees
    for i=1:nPop
        if C(i)>=L
            pop(i).Position=unifrnd(VarMin,VarMax,VarSize);
            pop(i).Cost=CostFunction(pop(i).Position);
            C(i)=0;
        end
    end
    
    % Update Best Solution Ever Found
    for i=1:nPop
        if pop(i).Cost<=BestSol.Cost
            BestSol=pop(i);
        end
    end
    
    % Store Best Cost Ever Found
    BestCost(it)=BestSol.Cost;
    
    % Display Iteration Information
    disp(['Iteration ' num2str(it) ': Best Cost = ' num2str(BestCost(it))]);
    
end
    
%% Results

figure;
%plot(BestCost,'LineWidth',2);
semilogy(BestCost,'LineWidth',2);
xlabel('Iteration');
ylabel('Best Cost');
grid on;