梯度下降綜述

原始論文 https://arxiv.org/pdf/1609.04747.pdf 前言 梯度下降算法現在變的越來越流行，但是對於使用者來說，它的優化過程變的越來越黑盒。本文我們介紹下不通梯度下降算法的習性，使得我們能夠更好的使用它們。本人每次複習這篇論文，或多或少都有一些收穫，基礎學習紮實了，後面的使用纔會得心應手。 簡介 梯度下降算法，不管在機器學習，還是在神經網絡中，都是很常見的優化算法。所

>>阅读原文<<