去均值操作及初始化權重的作用

如果做過dnn的實驗，大家可能會發現在對數據進行預處理，例如白化或者zscore，甚至是簡單的減均值操作都是可以加速收斂的，例如下圖所示的一個簡單的例子： 　　圖中紅點代表2維的數據點，由於圖像數據的每一維一般都是0-255之間的數字，因此數據點只會落在第一象限，而且圖像數據具有很強的相關性，比如第一個灰度值爲30，比較黑，那它旁邊的一個像素值一般不會超過100，否則給人的感覺就像噪聲一樣。由於強

>>阅读原文<<