深度學習--超參調試-正則化及優化2

優化算法： 優化算法可以幫助快速訓練模型 mini batch 梯度下降：batch_size=1000,進行一次參數更新，5000次更新，1000*5000個訓練樣本 []神經網絡層數，{t}第t個mini batch，（i）第i個樣本 1 epoch，遍歷一次訓練集 一般需要多次遍歷訓練集； batch gradient descent 每次cost都下降，Mini-batch不一定，如下圖

>>阅读原文<<