深入淺出--梯度下降法及其實現

一、梯度法思想 梯度法思想的三要素：出發點、下降方向、下降步長。 機器學習中常用的權重更新表達式爲 ：，這裏的λ就是學習率，本文從這個式子出發來把機器學習中的各種「梯度」下降法闡釋清楚。 機器學習目標函數，一般都是凸函數，什麼叫凸函數？限於篇幅，我們不做很深的展開，在這兒我們做一個形象的比喻，凸函數求解問題，可以把目標損失函數想象成一口鍋，來找到這個鍋的鍋底。非常直觀的想法就是，我們沿着初始某個點

>>阅读原文<<