【零基礎】神經網絡優化之mini-batch

一、前言 　　回顧一下前面講過的兩種解決過擬合的方法： 　　1）L0、L1、L2：在向前傳播、反向傳播後面加個小尾巴 　　2）dropout：訓練時隨機「刪除」一部分神經元 　　本篇要介紹的優化方法叫mini-batch，它主要解決的問題是：實際應用時的訓練數據往往都太大了，一次加載到電腦裏可能內存不夠，其次運行速度也很慢。那自然就想到說，不如把訓練數據分割成好幾份，一次學習一份不就行了嗎？前輩們

>>阅读原文<<