ML筆記 - 神經網絡訓練技巧

數據預處理 數據去均值 激活函數選擇 優先使用ReLU，嘗試Leaky ReLU / Maxout / ELU，少用Sigmoid 權重初始化 不同的初始方法下，隨迭代輪次，損失的變化 學習率與批樣本大小 不同批樣本數量對於訓練的影響 不同大小的學習率下，神經網絡的訓練損失變化 損失函數與優化器 不同優化方法下，loss的變化 超參數調優 批規範化處理 / Batch Normalization

>>阅读原文<<