神經網絡權值爲何不能初始化爲零（1）

寫在前面：該篇文章的內容以及相關代碼（代碼在最後），都是我親自手敲出來的，相關結論分析也是花了挺長時間作出來的，如需轉載該文章，請務必先聯繫我，在後臺留言便可。

在深度學習中，神經網絡的權重初始化方式很是重要，其對模型的收斂速度和性能有着較大的影響。一個好的權值初始值有如下優勢：

• 梯度降低的收斂速度較快
• 深度神經中的網絡模型不易陷入梯度消失或梯度爆炸問題

該系列共兩篇文章，咱們主要討論如下兩個話題：

1. 爲何在線性迴歸和邏輯迴歸中能夠採用0初始化，而在神經網絡中不能採用（實際上不光是0初始化，將權值初始化爲任意相同值，都頗有可能使模型失效）；
2. 經常使用的三種權值初始化方法：隨機初始化、Xavier initialization、He initialization

在這一篇文章中，咱們主要談論第一個話題

---

 

0 初始化

在線性迴歸和邏輯迴歸中，咱們一般把權值 w 和誤差項 b 初始化爲0，而且咱們的模型也能取得較好的效果。在線性迴歸和邏輯迴歸中，咱們採用下面的代碼將權值初始化爲0（tensorflow框架下）：

w = tf.Variable([[0,0,0]],dtype=tf.float32,name='weights')
b = tf.Variable(0,dtype=tf.float32,name='bias')

可是，當在神經網絡中的權值所有都使用 0 初始化時，模型沒法正常工做了。

緣由是：在神經網絡中由於存在隱含層。咱們假設模型的輸入爲[x1,x2,x3]，隱含層數爲1，隱含層單元數爲2，輸出爲 y ，模型以下圖所示：

則經過正向傳播計算以後，可得：

z1 = w10 * x0 + w11 * x1 + w12 * x2 +w13 * x3

z2 = w20 * x0 + w21 * x1 + w22 * x2 +w23 * x3

在全部的權值 w 和誤差值 b （能夠看作是w10）初始化爲 0 的狀況下，即計算以後的 z1 和 z2 都等於0

那麼因爲 a1 = g(z1) 、a2 = g(z2)，通過激活函數以後獲得的 a1 和 a2 也確定是相同的數了，即 a1 = a2 = g(z1)

則輸出層：y = g(w20 * a0 + w21 * a1 + w22 *a2 ) 也是固定值了。

重點：在反向傳播過程當中，咱們使用梯度降低的方式來下降損失函數，但在更新權值的過程當中，代價函數對不一樣權值參數的偏導數相同 ，即Δw相同，所以在反向傳播更新參數時：

w21 = 0 + Δw

w22 = 0 + Δw

實際上使得更新以後的不一樣節點的參數相同，同理能夠獲得其餘更新以後的參數也都是相同的，無論進行多少輪的正向傳播和反向傳播，獲得的參數都同樣！所以，神經網絡就失去了其特徵學習的能力。

---

 

在神經網絡中使用0 初始化的效果

咱們來看一下使用 0 初始化會出現什麼樣的狀況：

咱們使用MNIST手寫數字數據集進行測試：手寫數據集是圖像處理和機器學習研究最多的數據集之一，在深度學習的發展中起到了重要的做用。

咱們看一下使用權值 0 初始化的神經網絡訓練並測試該數據集的結果：

 

• 在100次的迭代中，每一次迭代，損失值都沒有變化
• 模型檢測的準確度爲11.35%，幾乎徹底沒有檢測出來

總結一下：在神經網絡中，若是將權值初始化爲 0 ，或者其餘統一的常量，會致使後面的激活單元具備相同的值，全部的單元相贊成味着它們都在計算同一特徵，網絡變得跟只有一個隱含層節點同樣，這使得神經網絡失去了學習不一樣特徵的能力！

 

---

 

若是這篇文章幫助到了你，或者你有任何問題，歡迎掃碼關注微信公衆號：一刻AI  在後臺留言便可，讓咱們一塊兒學習一塊兒進步！

 

---

 

 

代碼以下：

 

# -*- coding: utf-8 -*-
"""
Created on Wed May  8 08:25:40 2019

@author: Li Kangyu
"""

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
from tensorflow.contrib.learn.python.learn.datasets.mnist import read_data_sets
import time
# 數據集下載地址：http://yann.lecun.com/exdb/mnist/


MINIBATCH_SIZE = 100
NUM_HD = 100 
data = read_data_sets('MNIST_DATA',one_hot=True)

x = tf.placeholder(tf.float32,[None,784]) 
y_true = tf.placeholder(tf.float32,[None,10])

def nn_model(x):
    hidden_layer = {
                    'w':tf.Variable(tf.zeros([784,NUM_HD])),
                    'b':tf.Variable(tf.zeros([NUM_HD]))
                   }
    output_layer = {
                    'w':tf.Variable(tf.zeros([NUM_HD,10])),
                    'b':tf.Variable(tf.zeros([10]))
                   }
    
    z1 = tf.matmul(x,hidden_layer['w']) + hidden_layer['b']
    a1 = tf.nn.relu(z1)
    
    output = tf.matmul(a1,output_layer['w']) + output_layer['b']
    
    return output

def train_nn(x):
    y_pred = nn_model(x)
    
    cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_pred,labels=y_true)) 
    optimizer = tf.train.AdamOptimizer().minimize(cost)
    
    correct_mask = tf.equal(tf.argmax(y_pred,1),tf.argmax(y_true,1))
    accuracy = tf.reduce_mean(tf.cast(correct_mask,tf.float32))
    
    NUM_STEPS = 100
    
    with tf.Session() as sess:
        sess.run(tf.initialize_all_variables())
        for epoch in range(NUM_STEPS):
            epoch_loss = 0
            num_minibatch = int(data.train.num_examples/MINIBATCH_SIZE)
            for _ in range(num_minibatch):
                
                batch_xs,batch_ys = data.train.next_batch(MINIBATCH_SIZE)
                _,loss = sess.run([optimizer,cost],feed_dict={x:batch_xs,y_true:batch_ys})
                epoch_loss += loss / num_minibatch
            if epoch % 10 ==0:
                print("Epoch = ",epoch,"loss = ",epoch_loss)
            
            ans = sess.run(accuracy,feed_dict={x:data.test.images,
                                                   y_true:data.test.labels})
    
    print("Accuracy:{:.4}%".format(ans*100))

train_nn(x)