機器學習算法中如何選取超參數：學習速率、正則項係數、minibatch size

學習速率（learning rate，η） 運用梯度降低算法進行優化時，權重的更新規則中，在梯度項前會乘以一個係數，這個係數就叫學習速率η。下面討論在訓練時選取η的策略。ios 固定的學習速率。若是學習速率過小，則會使收斂過慢，若是學習速率太大，則會致使代價函數振盪，以下圖所示。就下圖來講，一個比較好的策略是先將學習速率設置爲0.25，而後在訓練到第20個Epoch時，學習速率改成0.025。 關

>>阅读原文<<