優化問題綜述(一)無約束最優化問題的解法中用於神經網絡的常見算法

優化問題是解決形如 minxg(x)+h(x),s.t.,x∈X m i n x g ( x ) + h ( x ) , s . t . , x ∈ X 的問題， g(x) g ( x ) 是損失函數， h(x) h ( x ) 是正則化約束， X X 是可行域。 我們令 f(x)=g(x)+h(x) f ( x ) = g ( x ) + h ( x ) ，對 f(x) f ( x ) 已知信息

>>阅读原文<<