梯度優化算法總結以及solver中相關參數解釋

參考鏈接：http://sebastianruder.com/optimizing-gradient-descent/ 如果熟悉英文的話，強烈推薦閱讀原文，畢竟翻譯過程中因爲個人理解有限，可能會有謬誤，還望讀者能不吝指出。另外，由於原文太長，分了兩部分翻譯，本篇主要是梯度下降優化算法的總結，下篇將會是隨機梯度的並行和分佈式，以及優化策略的總結。 梯度下降是優化中最流行的算法之一，也是目前用於優化神

>>阅读原文<<