Hinton Neural Networks課程筆記3e：如何利用梯度值訓練網絡（學習策略和過擬合抑制）

這裏只是開了個頭，籠統的講了講如何利用梯度值訓練網絡，包括優化算法的部分以及防止過擬合的部分。 1. 優化算法的部分 這裏只提到了三個部分（具體要到第六節纔講）：batch相關的抉擇、學習率相關的選擇、優化算法的選擇。 batch相關的選項有online（one case）、mini-batch（some cases）和full-batch（all cases）。那online典型的問題就是zig

>>阅读原文<<