深度學習筆記(2):3.1 參數調試過程 | 3.2 使用適當的尺度選擇參數 | 3.3 調參實踐

3.1 調試過程(tuning process) 在訓練神經網絡過程中,我們會有很多的超參數需要調試,比如學習率,momentum參數,adam參數、和,神經網絡層數(layers),每層神經網絡隱藏的神經元(hidden units),如果使用learning rate decay,還會有其他參數,還有mini-batch的大小。 但這些參數重要性有區別,如下圖所示: 紅色圈起來的學習率是最重要
相關文章
相關標籤/搜索