深度學習中的優化問題

一、優化問題的挑戰 絕大多數深度學習中的目標函數都很複雜。因此，很多優化問題並不存在顯示解（解析解），而需要使用基於數值方法的優化算法找到近似解。這類優化算法一般通過不斷迭代更新解的數值來找到近似解。 優化問題中的兩個挑戰：局部最小值和鞍點。這兩種情況都會造成梯度接近或變成零，從而使得網絡很難繼續優化。 低維空間的非凸優化問題：主要是存在一些局部最優點。採用梯度下降方法時，不合適的參數初始化會導致

>>阅读原文<<