梯度下降

梯度：偏導 下降：偏導的反方向 梯度下降是求的偏導的反方向，如上圖下山的方向。 當使用梯度下降的時候沒有辦法一步找到最優解，只能是一步一步來接近最優解（近似最優解）。 第一步首先需要一個 目標函數 如下 目標方法少了一個 平方 批量梯度下降：容易得到最優解，但是速度比較慢 隨機梯度下降：速度快，但是不一定每次都朝着收斂方向 小批量梯度下降：每次選擇一小部分，比較實用

>>阅读原文<<