優化算法中的鞍點與梯度下降

摘要：本文將討論尋找凸路徑（ convex path ）時可能會遇到的不同類型的臨界點（ critical points），特別是基於梯度下降的簡單啓發式學習方法，在很多情形下會使你在多項式時間內陷入局部最小值（ local minimum ） 。 凸函數比較簡單——它們通常只有一個局部最小值。非凸函數則更加複雜。在這篇文章中，我們將討論不同類型的臨界點（ critical points） ，當你

>>阅读原文<<