深度學習優化方法：梯度下降法及其變形

優化與大家的日常生活息息相關。具體是指改變輸入 x 以最小化或者最大化某個函數 f(x) 。如空調溫度固定到多少時會使耗能最小、工廠需要多少機器才能效益最大……通常都以最小化 f(x) 指代大多數最優化問題，因爲最大化可經由最小化算法優化 −f(x) 來實現。具體的描述如下所示： x∗=argminf(x),x爲實數. 如何確定較好的的最小化算法使得上述問題的求解高效準確？先假定函數的導數記爲 f

>>阅读原文<<