優化算法-吳恩達學習筆記

1 Mini-batch梯度下降 2 指數加權平均       當較大時，相當於平均較多天數的數據，故會平坦一點，當然了由於平均了前些天的數據，只考慮了的當日數據，故會有延遲。相當於平均天的數據。 從左側圖可以看出，幾乎考慮了之前所有天的數據，但是距離今天越遠的數據所佔權重越小，例如當時，，10之前的數據佔比很小，故相當於考慮了最近10天數據的加權平均。 偏差的修正，我們發現剛開始的幾天，指數加權

>>阅读原文<<