計算機視覺教程核心版(三)優化下篇

本節承接優化中篇 在前面的章節中我們已經介紹了最簡單的優化方法，隨機梯度下降法。如下代碼和圖示例 左邊代碼中僅僅需要兩行代碼就可以實現SGD優化方法。右邊的圖展示了含有兩個參數的損失函數等高線的圖，不同顏色代表不同的損失函數，中間紅色表示最小梯度。 SGD問題 SGD的問題在一個方向很敏感（下降較快）在其他方向效果次之，在高維方面更加明顯。 2.SGD的另一個問題是由局部最小值點或者鞍點（零梯度）

>>阅读原文<<