[深度學習]梯度下降算法、優化方法（SGD,Adagrad,Adam...)

求解神經網絡，也就是求解 y =f(wx + b) 中的w 和 b。 那麼如何找到正確的權重值 w 和 b 呢？ 隨機搜索。需要很多權重值，隨機採樣，然後把它們輸入損失函數，再看它們效果如何。（stupid） 梯度下降算法。首先，初始化 w 和 b， 然後，使用梯度下降算法，對 w 和 b 進行更新。 下面，就對梯度下降算法，及其優化變體進行解釋。   梯度下降算法 形象化解釋： 當你一個人走在山

>>阅读原文<<