《動手學——凸優化》筆記

優化與深度學習 優化與估計 儘管優化方法可以最小化深度學習中的損失函數值，但本質上優化方法達到的目標與深度學習的目標並不相同。 優化方法目標：訓練集損失函數值 深度學習目標：測試集損失函數值（泛化性） 優化在深度學習中的挑戰 局部最小值 鞍點 梯度消失 局部最小值 f ( x ) = x cos ⁡ π x f(x) = x\cos \pi x f(x)=xcosπx 鞍點 A = [ ∂ 2 f

>>阅读原文<<