機器學習：python使用BP神經網絡示例

1.簡介(只是簡單介紹下理論內容幫助理解下面的代碼，若是本身寫代碼實現此理論不夠)

       1） BP神經網絡是一種多層網絡算法，其核心是反向傳播偏差，即： 使用梯度降低法(或其餘算法)，經過反向傳播來不斷調整網絡的權值和閾值，使網絡的偏差平方和最小。

      BP神經網絡模型拓撲結構包括輸入層（input）、隱藏層(hidden layer)和輸出層(output layer)，每層包含多個神經元。

      2）BP神經網絡示例圖

        

       上圖就是一個簡單的三層BP神經網絡。網絡共有6個單元，O₀用於表示閾值，O₁、O₂爲輸入層，O₃、O₄爲第一隱層，也是惟一隱層，O₅爲輸出層單元。網絡接收兩個輸入 ，發送一個輸出 。每一個單元接收一組輸入，發送一個輸出。 爲權值,例如W₄₀ 表示O₀與O₄之間的權重。

     3）神經單元(計算單元)

        

           如上圖所示，每一個圓表示一個神經單元。其接收一組數據，通過計算輸出一個數據。

     4）傳播過程

          a）正向傳遞

               例如：從O₁-->O₄-->0_5,這是正向傳遞過程當中的一個路徑(O₄除了接收O₁,還接收O₀、O₂的輸入)。這裏重點說下權重，W₄₁表示O₁和O₄之間的權重，假如O₁=1,O₄=4,W₄₁=0.5,那麼O₅=1*4*0.5=2(2不是最終輸出，最終輸出還須要加上O₀、O₂ 的計算結果).

          b）反向傳遞（過程比較複雜，這個表述不是特別精確，只是爲了方便理解）

              例如：從O₁<--O₄<--0_5,在這個過程當中，O₅是計算出的值，參與計算的O₄的值不是其自己的值，而是在正向傳遞過程當中計算出的值（即輸出值）。而權重也是這個過程當中調整的。

 

2.MLPClassifier函數

       此函數是sklearn.neural_network中的函數，它是利用反向傳播偏差進行計算的多層感知器算法。

       a) 主要參數

               hidden_​​layer_sizes：隱藏層，例如:(5,2) 表示有2個隱藏層，第一隱藏層有5個神經單元，第二個隱藏層有2個神經單元；(5,2,4)表示有三個隱藏層。

               activation：激活函數，在反向傳遞中須要用到。有如下四個可選項：

                             'identity':無激活操做，有助於實現線性瓶頸, 返回 f(x) = x

                              'logistic':邏輯函數, 返回 f(x) = 1 / (1 + exp(-x)).

                               'tanh': 雙曲線函數, 返回 f(x) = tanh(x).

                               'relu': 矯正線性函數, 返回 f(x) = max(0, x)，（默認）

              solver：反向傳播過程當中採用的算法，有如下三個選項：

                         'lbfgs': 準牛頓算法.適用於較小數據集

                          'sgd': 隨機梯度降低算法.

                          'adam':優化的隨機梯度降低算法(默認)。適用於較大數據集

             alpha：L2懲罰係數

             learning_rate：學習速率，有如下幾個選項：(只有當slver='sgd'時有用)

                          constant:參數learning_rate_init指定的恆定學習速率.(默認選項)

                          invscaling’:使用「scale_t」的反向縮放指數逐漸下降每一個時間步長t 的學習率。effective_learning_rate = learning_rate_init / pow（t，power_t）(power_t是另一個參數)

                          adaptive: 自適應，只要損失不斷降低就是用learning_rate_init。不然會自動調整(由另一個參數tol決定)。

            learning_rate_init:初始學習速率

       b)屬性

          coefs_：權重列表

          n_layers_：神經網絡的總層數

3.示例一

          本示例使用的數據：機器學習：從編程的角度去理解邏輯迴歸 。在下面的參數狀況下正確率95%。

import numpy as np
import os
import pandas as pd
from sklearn.neural_network import MLPClassifier

def loadDataSet():
    ##運行腳本所在目錄
    base_dir=os.getcwd()
    ##記得添加header=None，不然會把第一行看成頭
    data=pd.read_table(base_dir+r"\lr.txt",header=None)
    ##dataLen行dataWid列 ：返回值是dataLen=100 dataWid=3
    dataLen,dataWid = data.shape
    ##訓練數據集
    xList = []
    ##標籤數據集
    lables = []
    ##讀取數據
    for i in range(dataLen):
        row = data.values[i]
        xList.append(row[0:dataWid-1])
        lables.append(row[-1])
    return xList,lables


def GetResult():
    dataMat,labelMat=loadDataSet()
    clf = MLPClassifier(solver='lbfgs', alpha=1e-5,
                        hidden_layer_sizes=(5,2), random_state=1)
    clf.fit(dataMat, labelMat)
    #print("層數----------------------")
    #print(clf.n_layers_)
    #print("權重----------------------")
    #for cf in clf.coefs_:
    #    print(cf)
    #print("預測值----------------------")
    y_pred=clf.predict(dataMat)
    m = len(y_pred)
    ##分錯4個
    t = 0
    f = 0
    for i in range(m):
        if y_pred[i] ==labelMat[i]:
            t += 1
        else :
            f += 1
    print("正確:"+str(t))
    print("錯誤:"+str(f))

if __name__=='__main__':
    GetResult()

4.示例二(數據來源)

   此次使用的數據仍是紅酒。由於紅酒的口感得分是整數，因此也能夠看成是分類。可是針對此實驗數據，在屢次調整參數的過程當中（主要是調整隱藏層）正確率最高只有61%。這正是BP神經網絡的一個缺陷:隱含層的選取缺少理論的指導。

    代碼：

import numpy as np
import os
import pandas as pd
from sklearn.neural_network import MLPClassifier


##運行腳本所在目錄
base_dir=os.getcwd()
##記得添加header=None，不然會把第一行看成頭
data=pd.read_table(base_dir+r"\wine.txt",header=None,sep=';')
##dataLen行dataWid列 ：返回值是dataLen=1599 dataWid=12
dataLen,dataWid = data.shape

##訓練數據集
xList = []
##標籤數據集
lables = []
##讀取數據
for i in range(dataLen):
    row = data.values[i]
    xList.append(row[0:dataWid-1])
    lables.append(row[-1])
##設置訓練函數
clf = MLPClassifier(solver='lbfgs', alpha=1e-5,
                        hidden_layer_sizes=(14,14,30), random_state=1)
##開始訓練數據
clf.fit(xList, lables)
##讀取預測值
y_pred=clf.predict(xList)
m = len(y_pred)

t = 0
f = 0
##預測結果分析
for i in range(m):
    if int(y_pred[i]) == lables[i]:
        t += 1
    else :
        f += 1
print("正確:"+str(t))
print("錯誤:"+str(f))

 

5.BP神經網絡的缺點 

       1）容易造成局部極小值而得不到全局最優值。BP神經網絡中極小值比較多，因此很容易陷入局部極小值，這就要求對初始權值和閥值有要求，要使得初始權值和閥值隨機性足夠好，能夠屢次隨機來實現。      2）訓練次數多使得學習效率低，收斂速度慢。      3）隱含層的選取缺少理論的指導。      4）訓練時學習新樣本有遺忘舊樣本的趨勢。(能夠把最優的權重記錄下來)