計算機視覺教程核心版(三)優化下篇

本節承接優化中篇 在前面的章節中我們已經介紹了最簡單的優化方法,隨機梯度下降法。如下代碼和圖示例 左邊代碼中僅僅需要兩行代碼就可以實現SGD優化方法。右邊的圖展示了含有兩個參數的損失函數等高線的圖,不同顏色代表不同的損失函數,中間紅色表示最小梯度。 SGD問題 SGD的問題在一個方向很敏感(下降較快)在其他方向效果次之,在高維方面更加明顯。 2.SGD的另一個問題是由局部最小值點或者鞍點(零梯度)
相關文章
相關標籤/搜索