梯度下降算法推導（筆記）

一直對ML中各種數學推導有些雲山霧罩，所以打算整理一下這些常見的推導公式。有幸有高人的博客可以參考，個人感覺比李航書上的推導更詳細。 1.梯度下降是ML中應用最廣泛的用於求解模型參數的算法（類似算法還有牛頓法、擬牛頓法、共軛方向、共軛梯度法等）。原理主要是對損失函數的每一個函數求導，並利用負梯度對權值w進行更新。

>>阅读原文<<