關於Neural Network（MLPs）的訓練前準備：數據預處理和網絡初始化

訓練一個的Neural Network（特指由FC層和non-linearity構成的MLP式網絡），爲了達到又快又好的convergence，訓練前的準備非常重要。這裏主要談個主要的預訓練措施：數據預處理 and 網絡初始化。 一. 數據預處理： 本文還是以在CIFAR-10上做10分類任務爲背景展開（訓練集50000張32 * 32 * 3 = 3072dim的圖片，X∈[N , D] = [

>>阅读原文<<