優化算法之梯度下降（Gradient Descent）

一、梯度下降法 重申，機器學習三要素是：模型，學習準則，優化算法。這裏討論一下梯度下降法。 通常爲了充分利用凸優化中的一些高效成熟的優化方法，像：共軛梯度、擬牛頓法等，所以呢很多的機器學習算法傾向於選擇合適的模型和損失函數來構造一個凸函數作爲優化的目標。但是呢，也有一些模型（例如神經網絡）的優化目標是非凸的，以至於只能找到其局部最優解。 機器學習中，常用的優化算法就是梯度下降法，首先初始化參數 θ

>>阅读原文<<