由Batch Normalization引發的深入淺出PCA主成份分析

大家應該都知道，我們一般在訓練網絡的時會將輸入減去均值，還有些人甚至會對輸入做白化等操作，目的是爲了加快訓練。爲什麼減均值、白化可以加快訓練呢，這裏做一個簡單地說明： 首先，圖像數據是高度相關的，假設其分佈如下圖a所示(簡化爲2維)。由於初始化的時候，我們的參數一般都是0均值的，因此開始的擬合y=Wx+b，基本過原點附近，如圖b紅色虛線。因此，網絡需要經過多次學習才能逐步達到如紫色實線的擬合，即收

>>阅读原文<<