深度學習筆記（十）--深度神經網絡的致命問題

隨着神經網絡層數的加深，有三個重大問題： 一是非凸優化問題，即優化函數越來越容易陷入局部最優解； 二是（Gradient Vanish）梯度消失問題； 三是過擬合問題。 1、 非凸優化問題 線性迴歸，本質是一個多元一次函數的優化問題，設f(x,y)=x+y 多層神經網絡，本質是一個多元K次函數優化問題，設f(x,y)=xy 在線性迴歸當中，從任意一個點出發搜索，最終必然是下降到全局最小值附近的。所

>>阅读原文<<