隨機梯度下降法以及梯度下降法調試

什麼是隨機梯度下降法 就是從現有的數據中隨機取出一部分數據進行運算，相對於批量梯度下降法每一次運算就要全部數據參與計算，隨機梯度下降法可以在損失極小的精度下，換取較大的速度提升 如何隨機 就是學習率會隨着循環次數的增加而變化，也就是的值會變，具體取值約爲 5/(50+i) i爲當前循環的次數，這樣每一次下降的速度也是隨着循環的次數增加而減少，符合梯度下降的規則，越靠近最優解，下降就越快 代碼展示

>>阅读原文<<