GAN代碼實戰

batch normalization

 

一、BN算法，通常用在全鏈接或卷積神經網絡中。能夠加強整個神經網絡的識別準確率以及加強模型訓練過程當中的收斂能力
二、對於兩套權重參數，例如（w1:0.01,w2:10000,w3:0.01）和（w1:1,w2:1,w3:1），他們對應的（Z=x w1 w2 w3）的表達式Z值都是相同的。可是這個時候分別對這兩套參數作訓練，更新後的權重參數就變成了（w1:100.01,w2:10000.0001,w3:100.01）(w1:2,w2:2,w3:2) ，而後進行第二次正向計算，Z1=1 2 2 2=8, Z2=1 100.01 10000.0001 * 100.01=100000000，如此可見，這兩個更新後的權重值引起的網絡輸出變化劇烈程度，Z2與Z1相比是很是劇烈的，這個時候計算出來的loss值會很是大，使得整個網絡的沒法計算，這種現象就叫作梯度爆炸。產生這種現象的緣由就是由於網絡的內部協變量轉移，即正向傳播時的不一樣層的參數會將反向傳播計算時所參照的樣本分佈改變。
三、引入BN層的做用在於要最大限度的保證每次正向傳播都輸出在同一分佈上，這樣反向計算時參照的數據樣本分佈就會和正向計算時的數據分佈同樣了。保證了分佈的統一，對權重的調整纔會更有意義。

conv2d_transpose

 

 

​