tensorflow 基礎學習五：MNIST手寫數字識別

MNIST數據集介紹：

from tensorflow.examples.tutorials.mnist import input_data

# 載入MNIST數據集，若是指定地址下沒有已經下載好的數據，tensorflow會自動下載數據
mnist=input_data.read_data_sets('.',one_hot=True)

# 打印 Training data size：55000。
print("Training data size: {}".format(mnist.train.num_examples))

# 打印Validating data size：5000
print('Validating data size: {}'.format(mnist.validation.num_examples))

# 打印Testing data size：10000
print('Testing data size: {}'.format(mnist.test.num_examples))

# 打印Example training data：
print('Example training data: {}'.format(mnist.train.images[0]))

# 打印Example training data label:
print('Example training data label: {}'.format(mnist.train.labels[0]))

batch_size=100
xs,ys=mnist.train.next_batch(batch_size)
# 從train集合中選取batch_size個訓練數據
print('X shape: {}'.format(xs.shape)) # 輸出：(100,784)
print('Y shape: {}'.format(ys.shape)) # 輸出：(100,10)

一個完整的mnist手寫數字識別程序：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# MNIST數據集相關的經常使用
INPUT_NODE=784
OUTPUT_NODE=10

# 配置神經網絡的參數
LAYER1_NODE=500 # 隱藏層節點個數
BATCH_SIZE=100 # 一個訓練batch中的數據個數。
LEARNING_RATE_BASE=0.8 # 基礎的學習率
LEARNING_RATE_DECAY=0.99 # 學習率的衰減率
REGULARIZATION_RATE=0.0001 # 描述模型複雜度的正則化項在損失函數中的系統
TRAINING_STEPS=30000 # 訓練輪數
MOVING_AVERAGE_DECAY=0.99 # 滑動平均衰減率

# 定義一個三層神經網絡。
def inference(input_tensor,avg_class,weights1,biases1,weights2,biases2):
    # 當沒有提供滑動平均類時，直接使用參數當前的取值。
    if avg_class==None:
        # 計算隱藏層的前向傳播結果，這裏使用ReLU激活函數
        layer1=tf.nn.relu(tf.matmul(input_tensor,weights1)+biases1)
        return tf.matmul(layer1,weights2)+biases2
    else:
        # 首先使用avg_class.average函數來計算出變量的滑動平均值，
        # 而後再計算相應的神經網絡前向傳播結果
        layer1=tf.nn.relu(tf.matmul(input_tensor,avg_class.average(weights1))+
                          avg_class.average(biases1))
        return (tf.matmul(layer1,avg_class.average(weights2))+avg_class.average(biases2))
    
    
# 訓練模型的過程
def train(mnist):
    x=tf.placeholder(tf.float32,shape=[None,INPUT_NODE],name='x-input')
    y_=tf.placeholder(tf.float32,shape=[None,OUTPUT_NODE],name='y-input')
    
    # 生成隱藏層的參數
    weights1=tf.Variable(tf.truncated_normal([INPUT_NODE,LAYER1_NODE],stddev=0.1))
    biases1=tf.Variable(tf.constant(0.1,shape=[LAYER1_NODE]))
    # 生成輸出層的參數
    weights2=tf.Variable(tf.truncated_normal([LAYER1_NODE,OUTPUT_NODE],stddev=0.1))
    biases2=tf.Variable(tf.constant(0.1,shape=[OUTPUT_NODE]))
    
    # 計算在當前參數下神經網絡前向傳播結果。這裏給出的用於計算滑動平均的類爲None，
    # 因此函數不會使用參數的滑動平均值。
    y=inference(x,None,weights1,biases1,weights2,biases2)
    
    # 定義存儲訓練輪數的變量。該變量爲不可訓練變量(trainable=False)
    global_step=tf.Variable(0,trainable=False)
    
    # 給定滑動平均衰減率和訓練輪數的變量，初始化滑動平均類。給定訓練輪數的變量
    # 能夠加快訓練早期變量的更新速度。
    variable_averages=tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step)
    
    # 在全部表明神經網絡參數的變量上使用滑動平均。tf.trainable_variables返回的就是圖上集合
    # GraphKeys.TRAINABLE_VARIABLES中的元素。這個集合的元素就是全部沒有指定
    # trainable=False的參數。
    variables_averages_op=variable_averages.apply(tf.trainable_variables())
    
    # 計算使用了滑動平均以後的前向傳播結果。滑動平均不會改變變量自己的值，而是維護一個影子
    # 變量來記錄其滑動平均值。因此當須要使用這個滑動平均值時，須要明確調用average函數
    average_y=inference(x,variable_averages,weights1,biases1,weights2,biases2)
    
    # 使用交叉熵做爲損失函數。這裏使用
    # sparse_softmax_cross_entropy_with_logits函數來計算交叉熵。由於標準答案是一個長度爲
    # 10的一維數組，而該函數須要提供的是一個正確答案的數字，因此須要使用tf.argmax函數來
    # 獲得正確答案對應的類別編號
    cross_entropy=tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))
    # 計算在當前batch中全部樣例的交叉熵平均值
    cross_entropy_mean=tf.reduce_mean(cross_entropy)
    
    # 計算L2正則化損失函數
    regularizer=tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)
    # 計算模型的正則化損失。通常只計算神經網絡邊上權重的正則化損失，而不使用偏置項
    regularization=regularizer(weights1)+regularizer(weights2)
    # 總損失等於交叉熵損失和正則化損失的和
    loss=cross_entropy_mean+regularization
    # 設置指數衰減的學習率。
    learning_rate=tf.train.exponential_decay(
        LEARNING_RATE_BASE, # 基礎的學習率，隨着迭代的進行，更新變量時使用的學習率
                                # 在這個基礎上遞減
        global_step, # 當前迭代的輪數
        mnist.train.num_examples/BATCH_SIZE, # 過完全部的訓練數據須要的迭代次數
        LEARNING_RATE_DECAY # 學習率衰減速度
    )
    
    # 使用tf.train.GradientDescentOptimizer優化算法來優化損失函數。這裏的損失函數
    # 包含了交叉熵損失和L2正則化損失。
    train_step=tf.train.GradientDescentOptimizer(learning_rate)\
                .minimize(loss,global_step=global_step)
    
    # 在訓練神經網絡模型時，每過一遍數據既須要經過反向傳播來更新網絡中的參數，
    # 又要更新每個參數的滑動平均值。爲了一次完成多個操做，tensorflow提供了
    # tf.control_dependencies和tf.group兩種機制。下面兩行程序和
    # train_op=tf.group(train_step,variables_averages_op)是等價的。
    with tf.control_dependencies([train_step,variables_averages_op]):
        train_op=tf.no_op(name='train')
        
    # 檢驗使用了滑動平均模型的神經網絡前向傳播結果是否正確。tf.argmax(average_y,1)
    # 計算每個樣例的預測答案。其中average_y是一個batch_size*10的二維數組，每一行
    # 表示一個樣例的前向傳播結果。tf.argmax的第二個參數‘1’表示選取最大值的操做僅在
    # 第一個維度中進行，也就是說，只在每一行選取最大值對應的下標。因而獲得的結果是
    # 一個長度爲batch的覺得數組，這個一維數組中的值就表示了每個樣例對應的數字識別結果。
    # tf.equal判斷兩個張量的每一維是否相等。
    correct_prediction=tf.equal(tf.argmax(average_y,1),tf.argmax(y_,1))
    accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
    
    # 初始化會話並開始訓練過程。
    with tf.Session() as sess:
        init_op=tf.global_variables_initializer()
        sess.run(init_op)
        # 準備驗證數據。通常在神經網絡的訓練過程當中會經過驗證數據來大體判斷中止的
        # 條件和評判訓練的效果。
        validate_feed={x:mnist.validation.images,y_:mnist.validation.labels}
        
        # 準備測試數據
        test_feed={x:mnist.test.images,y_:mnist.test.labels}
        
        # 迭代的訓練神經網絡
        for i in range(TRAINING_STEPS):
            # 每1000輪輸出一次在驗證數據集上的測試結果
            if i%1000==0:
                validate_acc=sess.run(accuracy,feed_dict=validate_feed)
                print('After {} training step(s),validation accuracy'
                      'using average model is {}'.format(i,validate_acc))
                
            # 產生這一輪使用的一個batch的訓練數據，並運行訓練過程。
            xs,ys=mnist.train.next_batch(BATCH_SIZE)
            sess.run(train_op,feed_dict={x:xs,y_:ys})
        
        # 在訓練結束後，在測試數據上檢測神經網絡模型的最終正確率
        test_acc=sess.run(accuracy,feed_dict=test_feed)
        print('After {} training step(s), test accuracy using average '
             'model is {}'.format(TRAINING_STEPS,test_acc))

def main(argv=None):
    # 聲明處理MNIST數據集的類，這個類在初始化時會自動下載數據
    mnist=input_data.read_data_sets('.',one_hot=True)
    train(mnist)

# tensorflow 提供的一個主程序入口，tf.app.run會調用上面定義的main函數
if __name__=='__main__':
    tf.app.run()