學習筆記—Optimization algorithms

這是這門課程第二週的內容。 當深度學習遇到大數據（樣本量在十萬級以上）時，我們之前的常規操作在這時可能會變得很笨重。 1. Mini-batch gradient descent 之前在模型訓練過程時，每一輪迭代都需要遍歷整個訓練集樣本，當樣本集非常大時，這樣的每一輪都將經歷漫長的時間。爲了應對這一難題，有人提出了Mini-batch gradient descent，與之對應的是batch gr

>>阅读原文<<