8. 深度學習實踐：優化

NN的優化：尋找NN上的一組參數，可顯著降低代價函數，該代價函數通常包括整個訓練集上的性能評估和額外的正則化項。 1. 批量算法和小批量算法 和一般優化算法不同，ML算法的目標函數通常可分解爲訓練樣本上的總和。ML中的優化算法在計算參數的每一次更新時，通常僅使用整個代價函數中的一部分項來估計代價函數的期望值。 爲什麼僅僅使用一部分來估計？ n個樣本均值的標準差是 δ/n√ ，其中 δ 是樣本值真實

>>阅读原文<<