神經網絡中的名詞解釋:梯度下降、Epoch、Batch_size、迭代

(一) 梯度下降 梯度下降是在機器學習中用於尋找最佳結果(即曲線最小值)的一種迭代優化算法。 如下圖所示,要使綠色點達到最小值,需要考慮兩個問題:1)綠色點向左還是右移動;2)移動多大的距離。 對於向左還是向右移動的問題,我們可以根據數學求導公式來進行判斷,即判斷曲線還是在綠色點位置是遞增還是遞減,進而決定點該想哪個方向移動。 對於移動多大的距離問題,以下圖中綠色和藍色兩個點爲例。在兩個點位置分別
相關文章
相關標籤/搜索