深度學習--如何系統地調試並選擇超參數

我們都知道，在深度學習乃至機器學習過程中，有很多超參數需要調試。本文主要介紹深度學習超參數調試方法。 各參數重要性排序（由重要到不重要），排序根據吳恩達所述： 學習率、隱藏層單元數、mini batch大小、隱層數、學習率衰減係數。 根據博主調試代碼的經驗，重要性排序如下： 隱層數、隱藏層單元數、mini batch大小、學習率、學習率衰減係數。 Andrew Ng說的情況適用於數據很多特徵很多，

>>阅读原文<<