深度學習第二課 改善深層神經網絡：超參數調試、正則化以及優化 第三週超參數調試+Batch normalization筆記和作業

超參數調試處理策略 超參數搜索的策略 1. 隨機取值。 　　網格搜索的問題在於：無法預先判斷哪個參數是比較重要的，因此將浪費大量的運算在沒有明細作用的變量上。 2. 精確搜索 爲超參數選取合適的範圍 　　對於如神經網絡隱藏層數這類超參數可以採用平均取值，但是對於類似學習率和指數加權平均中的超參數 β 這類超參數需要採用對數平均取值。 　　如對學習率取值時，學習率的變化範圍爲[0.001,1]，但是

>>阅读原文<<