cs231n_ optimizer

     從上一張的loss function過渡都這一張的optimizer,我們深度學習的訓練過程其實就是一個優化的過程,優化的過程我覺得就想是一個盲人下山的問題,盲人想通過最快的速度到達山底,就相當於我們找函數最小值,山底代表我們的loss function的最小值,盲人採用的小碎步往下走,可是他該往哪個方向走最快呢?是的,他可以憑藉他身體的感受,在他的周圍,用腳去感受,哪個方向最抖,即斜率
相關文章
相關標籤/搜索