【Deep Learning 】深度模型中的優化問題（四）之如何逃離(跳出)鞍點（Saddle Points）

局部最優和鞍點   造成神經網絡難以優化的一個重要（乃至主要）原因不是高維優化問題中有很多局部極值，而是存在大量鞍點。   吳恩達視頻中講的，雖然沒有理論的證明，局部最小值就是全局最小值，但是很多實際的經驗告訴我們，最後，只能收斂到一個最小值，也就是說，很多現實實際問題是隻有一個最小值的。但這個最小值通常是鞍點。 認識鞍點的歷史   BP算法自八十年代發明以來，一直是神經網絡優化的最基本的方法。神

>>阅读原文<<