梯度下降法的原理與實現

概念介紹 梯度下降法目的是爲了「下降」，下降的方法是按照「梯度」。比如你在一座山上，當前你只能邁出一步，如何走才能使你的高度下降的最多呢，根據梯度的理論，我們沿着當前梯度的反方向走，會讓我們的下降幅度最大。 上述例子中，山就是一個函數，在山上的你就是函數中待優化的變量，人的座標表示變量初始值，我們要 求的是函數最小值即到達山底，人該如何走即如何迭代變量。所以我們只要沿着函數梯度的反方向，就能最快的

>>阅读原文<<