深度學習中的batch、epoch、iteration的含義+在線學習+dropout

dropout會使得收斂速度變慢，但是會防止我們過擬合。 什麼時候用dropout？ 當我們用的大模型，goolenet等模型，但是我們自己準備的樣本很少，避免過擬合情況，所以這個時候dropout起到了很關鍵的作用了。 深度學習的優化算法，說白了就是梯度下降。每次的參數更新有兩種方式。 第一種，遍歷全部數據集算一次損失函數，然後算函數對各個參數的梯度，更新梯度。這種方法每更新一次參數都要把數據集

>>阅读原文<<