深度學習和計算機視覺04-數學優化基礎

最小值和梯度下降 1優化問題就是求最小值的問題 2梯度下降： （1）梯度計算： （2）梯度下降法： a.先求出所在位置的梯度，然後取這個梯度的負方向（x沿着極小值前進的方向） b.更新，梯度乘以一個係數，用來控制步長的大小（學習率） c.終止條件：設定梯度小於某一個閾值 （3）極值和鞍點 a.鞍點是梯度爲0的點 b,局部的最小值爲極值點 c.梯度很小的區域爲停滯區 2.衝量（Momentum） (

>>阅读原文<<