cs231n----訓練神經網絡（激活函數、數據預處理、權重初始化、批標準化、超參數優化、正則化、遷移學習）

激活函數 sigmoid函數的缺點 tanh Relu優點 Leaky Relu ELU Maxout 激活函數使用意見 數據預處理 PCA和白話 圖片數據的使用意見：通常只做中心化處理，不做標準化方差和PCA、白化 權值初始化：具有零均值和1E-2標準偏差的高斯分佈 批量歸一化 超參數優化 總結 優化算法的拓展 加入動量項，不易陷入鞍點

>>阅读原文<<