深度學習：網絡優化之梯度下降

應用神經網絡模型到機器學習時依然存在一些難點問題. 主要分爲兩大類： （1）優化問題：神經網絡模型是一個非凸函數，很難進行優化。 （2）泛化問題：容易在訓練集上產生過擬合。 因此，目前主要從優化和正則化兩個方面來提高學習效率並得到一個好的網絡模型。 網絡優化的問題 高維變量的非凸優化 低維空間中非凸優化的主要難點是如何選擇初始化參數和逃離局部最優點，但在高維而是如何逃離鞍點（Saddle Poin

>>阅读原文<<