梯度下降的原理與實踐

梯度下降是 首先，我們有一個可微分的函數。這個函數就代表着一座山。我們的目標就是找到這個函數的最小值，也就是山底。最快的下山的方式就是找到當前位置最陡峭的方向，然後沿着此方向向下走，對應到函數中，就是找到給定點的梯度 ，然後朝着梯度相反的方向，就能讓函數值下降的最快！因爲梯度的方向就是函數之變化最快的方向(在後面會詳細解釋) 所以，我們重複利用這個方法，反覆求取梯度，最後就能到達局部的最小值，這就

>>阅读原文<<