最優化問題之如何逃離(跳出)鞍點（Saddle Points）

看了點鞍點相關的知識，做一下備錄。 我們知道在，優化問題中，深度學習的優化問題中，經常存在鞍點，就是這一點的導數爲0，從某些維度看是極小值，從另一些維度看是極大值，比如： 深度學習的尋優過程中，鞍點所造成的困難，遠比局部最小值大的多，因爲 1）在高維參數空間，鞍點存在較多 2）大量工作表面局部最優解，對於模型而言已經足夠好。 此外，正是因爲深度學習中鞍點的大量存在，傳統的牛頓法不適合，來尋優，因爲

>>阅读原文<<