cs231n筆記-超參數優選

Hyperparameter Optimization 第一步 選擇相當分散的數值，用幾個epoch的迭代去學習。 經過幾個epoch可以很好地知道哪些值好或不好，然後做出相應調整，得到一個較好的調參區間。 第二步 （或許需要較長的時間）在上一步驟得到的區間內進行進一步的精確搜索。 在訓練循環中，有一個類似於尋找NaN這樣的技巧，開始訓練一些參數，在每個迭代或epoch觀察cost，如果出現一個遠

>>阅读原文<<