吳恩達老師深度學習視頻課筆記：優化算法

        優化算法能夠幫助你快速訓練模型。         mini-batch梯度下降法：把訓練集分割(split)爲小一點的子訓練集，這些子集被叫做mini-batch。         batch梯度下降法指的是：同時處理整個訓練集，只有處理完整個訓練集才更新一次權值和偏置。並且預期每次迭代的成本都會下降，如果成本函數(cost function)J是迭代次數的一個函數，它應該會隨着每

>>阅读原文<<