CS231n學習記錄Lec4 Optimization優化

Lec4 Optimization優化 1. 梯度下降算法Gradient Decent 梯度是指向函數的最大 增長 方向,而我們的目標是沿着損失函數最小的方向調整參數 w w ,所以梯度爲正時要沿梯度的反方向調整一小步,然後不斷重複進行參數更新。 這裏的step_size即爲學習率,是一個超參數。 實踐考量:注意在數學公式中,h的取值是趨近於0的,然而在實際中,用一個很小的數值(比如例子中的1e
相關文章
相關標籤/搜索