機器學習系列（六）——梯度下降解釋及其技巧

在訓練機器學習模型尋找最優函數時，梯度下降（Gradient Descent）是最常用的優化（optimization）方法。在給定一組初始參數 θ0 θ 0 時，梯度下降算法能夠順着損失函數下降最快的方向逐步逼近最低點，也就是最佳參數 θ∗ θ ∗ 的位置。那梯度下降算法爲什麼work呢？爲什麼梯度的反方向就是損失函數下降最快的方向呢？ 梯度下降算法解釋 首先回顧一下梯度下降算法是如何工作的，我

>>阅读原文<<