Task06 凸優化與深度學習

優化與深度學習 1.優化與估計 儘管優化方法可以最小化深度學習中的損失函數值，但本質上優化方法達到的目標與深度學習的目標並不相同。 優化方法目標：訓練集損失函數值 深度學習目標：測試集損失函數值（泛化性）   2.優化在深度學習中的挑戰 局部最小值 鞍點 梯度消失 2.1局部最小值 對於目標函數f(x),如果f(x)在x上的值比在x鄰近的其他點更小，那麼f(x)可能是一個局部最小值。 如果f(x)

>>阅读原文<<