深度學習的難點

深度學習的核心問題就是一個非常難的優化問題。所以在神經網絡引入後的幾十年間，深度神經網絡的優化問題的困難性是阻礙它們成爲主流的一個重要因素。並導致了它們在20世紀90年代到21世紀初期間的衰落。不過現在已經基本解決了這個問題。在本篇博文中，我會探討優化神經網絡的「困難性」，以及理論上是怎麼解釋這個問題的。簡而言之：神經網絡變得越深，優化問題就會變得越難。 最簡單的神經網絡是單節點感知器，其優化問題

>>阅读原文<<