cs231n-Lecture6

CS231N–神經網絡訓練（下） 一、精細優化 1. SGD的優化問題 (1) 不同維度梯度問題 比如在趨近最優解的維度，梯度下降的慢，而在垂直方式梯度下降的快，梯度下降的和方向在偏離正確方向太遠，這樣優化過程中逼近最優解速度慢，這也是SGD速度最慢的原因 (2) 極值點問題 當遇到局部最小值點及鞍點時，SGD會陷入局部最優；由於數據維度較大，很難存在局部最小值點的情況，鞍點的存在可能性更大 個人

>>阅读原文<<