pytorch學習筆記2--梯度下降的介紹

梯度下降 給定 y = x 2 ∗ s i n x y=x^2*sinx y=x2∗sinx它的導數： y ′ = 2 x s i n x + x 2 c o s x y'=2xsinx + x^2cosx y′=2xsinx+x2cosx則梯度下降對x進行更新： x ′ = x − l r ∗ Δ x x'=x-lr * \Delta x x′=x−lr∗Δx 噪聲 exam

>>阅读原文<<