手寫數字識別——基於LeNet-5卷積網絡模型

　　在《手寫數字識別——利用Keras高層API快速搭建並優化網絡模型》一文中，咱們搭建了全鏈接層網絡，準確率達到0.98，可是這種網絡的參數量達到了近24萬個。本文將搭建LeNet-5網絡，參數僅有6萬左右，該網絡是由Yann LeCun在1998年提出，是歷史上第一代卷積神經網絡。關於其歷史可閱讀另外一篇博客《冬日曙光——回溯CNN的誕生》。

 

模型結構

　　LeNet-5提出至今過去了好久，所以其中的不少算法都已經被代替，所以本文所建網絡與LeNet-5會有所差別。LeNet-5結構以下圖所示，原結構可簡單歸納爲：

　　　　input(32*32*1)->Conv(28*28*6)->tanh->AvgPool(14*14*6)->tanh->（局部通道鏈接）Conv(10*10*16)->tanh->AvgPool(5*5*16)->tanh->Conv(1*1*120)->tanh->fc(84)->RBF->out(10)

　　

 　　本文采用的結構爲：

　　　　input(28*28*1)->Conv(28*28*6)->ReLu->MaxPool(14*14*6)->Conv(10*10*16)->ReLu->MaxPool(5*5*16)->Conv(1*1*120)->ReLu->fc(84)->out(10)

 

數據導入與預處理

　　跟全鏈接網絡的預處理不一樣，這裏的預處理有如下三個變化：

　　　　1.輸入採用了z-score 標準化，使均值約爲0，標準差約爲1。過程相似於將正態分佈進行標準化同樣。實際證實，這種方法比以前直接除以255收斂更快、準確度更高。

　　　　2.不須要將輸入打平，並且還得填充1個維度做爲通道，目的是使shape符合輸入層維度。

　　　　3.標籤值編成獨熱碼後，還需擴充兩個維度，能夠跟輸出層維度數相同。

　　標準化須要用到均值函數np.mean(a,axis=None,dtype=None)和標準差函數np.std(a,axis=None,dtype=None)。數據導入和預處理代碼以下：

import tensorflow as tf
import numpy as np
from tensorflow.keras import datasets,optimizers,Sequential,layers,metrics

#數據預處理
def preprocess(x,y):
    #z-score 標準化
    x = (tf.cast(x,dtype=tf.float32)-mean)/std
    x = tf.reshape(x,(-1,28,28,1))
    y = tf.one_hot(y,depth=10,dtype=tf.int32)
    y = tf.reshape(y,(-1,1,1,10))
    return x,y


#加載mnist數據
#trian_x -> shape(60k,28,28)  val_x -> shape(10k,28,28)
#trian_y -> shape(60k,10)     val_y -> shape(10k,10)
(train_x,train_y),(val_x,val_y) = datasets.mnist.load_data()
mean = np.mean(train_x)
std = np.std(train_x)

#生成Dataset對象
#bacthx -> shape(128,28,28) dtype=tf.uint8
#bacthy -> shape(128,10) dtype=tf.uint8
train_db = tf.data.Dataset.from_tensor_slices((train_x,train_y)).shuffle(1000).batch(128)
val_db = tf.data.Dataset.from_tensor_slices((val_x,val_y)).shuffle(1000).batch(128)

#特徵縮放、獨熱碼處理
train_db = train_db.map(preprocess)
val_db = val_db.map(preprocess)

 

 

模型構建

　　生成卷積層須要使用layers.Conv2D(filters,kernel_size,strides=(1,1),padding="valid",activation)，其中filters表示輸出通道數(濾波器數量)，kernel_size爲濾波器大小，strides爲卷積步長，padding爲邊界處理方式(valid表示不進行邊界擴展，same表示進行邊界擴展)，activation通常選擇ReLu。

　　生成池化層須要使用layers.MaxPool2D(pool_size,strides,padding="valid")，通常習慣把MaxPool的padding設爲「same」，經過步長來控制縮小倍數。在這裏步長爲2，每次池化都會將大小減半。

　　MNIST數據集圖片大小爲28*28，爲了跟LeNet保持一致，第一層卷積沒有改變大小，所以padding設爲"same"。我把全部全鏈接層用卷積形式代替了，這樣能夠避免卷積層輸出和全鏈接層輸入之間維度的差別(卷積輸出須要被打平)，從而能夠用一個Sequential容器裝下全部神經層。

　　模型構建代碼以下：

model = Sequential([
    #input -> shape(128,28,28,1)
    #C1 -> shape(128,28,28,6)
    layers.Conv2D(6,kernel_size=5,strides=1,padding='same',activation=tf.nn.relu),
    #S2 -> shape(128,14,14,6)
    layers.MaxPool2D(pool_size=(2,2),strides=2,padding='same'),

    #C3 -> shape(128,10,10,16)
    layers.Conv2D(16,kernel_size=5,strides=1,activation=tf.nn.relu),
    #S4 -> shape(128,5,5,16)
    layers.MaxPool2D(pool_size=(2,2),strides=2,padding='same'),

    #C5 -> shape(128,1,1,120)
    layers.Conv2D(120,kernel_size=5,strides=1,activation=tf.nn.relu),

    #卷積轉到全鏈接維數不對應致使不能訓練
    # #F6 ->shape(128,84)
    # layers.Dense(84,activation=tf.nn.relu),
    # #output ->shape(128,10)
    # layers.Dense(10)

    #F6 ->shape(128,1,1,84)
    layers.Conv2D(84,kernel_size=1,strides=1,activation=tf.nn.relu),
    #output ->shape(128,1,1,10)
    layers.Conv2D(10,kernel_size=1,strides=1)

])

model.build(input_shape=(None,28,28,1))
model.summary()

 

 

模型的訓練

　　LeNet-5當時使用的是隨機梯度降低和分段學習率，如今更多都交給Adam了。這裏給出了兩種實現，一種利用fit的回調進行手動學習率調整，可能須要花點時間調參，另外一種則使用Adam自動管理。在SGD下，由於是隨機取樣，因此Loss相對較小，須要比較大的學習率。

　　當年LeNet-5迭代20次後收斂，準確率能夠達到0.9905。本文SGD版在迭代12次後能達到0.9900水平，在18次時收斂，準確率穩定在0.9917；Adam版在迭代20次收斂於0.9892。也就是說，在廣泛使用Adam的今天，SGD(TensorFlow裏SGD通過了動量的優化)也是值得一試的。

　　Adam版：

model.compile(optimizer=optimizers.Adam(),
              loss=tf.losses.CategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
model.fit(train_db,epochs=15,validation_data=val_db,validation_freq=1)

 

　　SGD+分段學習率版：

def scheduler(epoch):
  if epoch < 10:
    return 0.1
  else:
    return 0.1 * np.exp(0.2 * (10 - epoch))#新建LearningRateScheduler對象
callback = tf.keras.callbacks.LearningRateScheduler(scheduler,verbose=1)

model.compile(optimizer=optimizers.SGD(),
              loss=tf.losses.CategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
model.fit(train_db,epochs=20,validation_data=val_db,validation_freq=1,callback

 

 

 

完整代碼

import tensorflow as tf
import numpy as np
from tensorflow.keras import datasets,optimizers,Sequential,layers,metrics

#數據預處理
def preprocess(x,y):
    #z-score 標準化
    x = (tf.cast(x,dtype=tf.float32)-mean)/std
    x = tf.reshape(x,(-1,28,28,1))
    y = tf.one_hot(y,depth=10,dtype=tf.int32)
    y = tf.reshape(y,(-1,1,1,10))
    return x,y


#加載mnist數據
#trian_x -> shape(60k,28,28)  val_x -> shape(10k,28,28)
#trian_y -> shape(60k,10)     val_y -> shape(10k,10)
(train_x,train_y),(val_x,val_y) = datasets.mnist.load_data()
mean = np.mean(train_x)
std = np.std(train_x)

#生成Dataset對象
#bacthx -> shape(128,28,28) dtype=tf.uint8
#bacthy -> shape(128,10) dtype=tf.uint8
train_db = tf.data.Dataset.from_tensor_slices((train_x,train_y)).shuffle(1000).batch(128)
val_db = tf.data.Dataset.from_tensor_slices((val_x,val_y)).shuffle(1000).batch(128)

#特徵縮放、獨熱碼處理
train_db = train_db.map(preprocess)
val_db = val_db.map(preprocess)

model = Sequential([
    #input -> shape(128,28,28,1)
    #C1 -> shape(128,28,28,6)
    layers.Conv2D(6,kernel_size=5,strides=1,padding='same',activation=tf.nn.relu),
    #S2 -> shape(128,14,14,6)
    layers.MaxPool2D(pool_size=(2,2),strides=2,padding='same'),

    #C3 -> shape(128,10,10,16)
    layers.Conv2D(16,kernel_size=5,strides=1,activation=tf.nn.relu),
    #S4 -> shape(128,5,5,16)
    layers.MaxPool2D(pool_size=(2,2),strides=2,padding='same'),

    #C5 -> shape(128,1,1,120)
    layers.Conv2D(120,kernel_size=5,strides=1,activation=tf.nn.relu),

    #F6 ->shape(128,1,1,84)
    layers.Conv2D(84,kernel_size=1,strides=1,activation=tf.nn.relu),
    #output ->shape(128,1,1,10)
    layers.Conv2D(10,kernel_size=1,strides=1)

])

model.build(input_shape=(None,28,28,1))
model.summary()

#Adam版
# model.compile(optimizer=optimizers.Adam(),
#               loss=tf.losses.CategoricalCrossentropy(from_logits=True),
#               metrics=['accuracy'])
# model.fit(train_db,epochs=20,validation_data=val_db,validation_freq=1)

#SGD版
def scheduler(epoch):
  if epoch < 10:
    return 0.1
  else:
    return 0.1 * np.exp(0.2 * (10 - epoch))

# #新建LearningRateScheduler對象
callback = tf.keras.callbacks.LearningRateScheduler(scheduler,verbose=1)

model.compile(optimizer=optimizers.SGD(),
              loss=tf.losses.CategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
model.fit(train_db,epochs=20,validation_data=val_db,validation_freq=1,callbacks=[callback])