梯度下降法與實現（牛頓法比較）

目錄 一、梯度下降算法 1.梯度下降的相關概念 2.梯度下降的數學原理 （1）對數損失函數 （2）數學推導過程 （3）梯度下降算法實例 （3-1）單變量函數的梯度下降 （3-2）多變量函數的梯度下降 二、牛頓法 三、梯度下降算法與牛頓法對比 梯度算法適用於求極值的問題，極值包括（極大值、極小值），所以一般求極大值使用梯度上升法，求極小值採用梯度下降算法。 梯度下降法每次學習不斷更新權值，最後收斂於

>>阅读原文<<