【Optimizor】Pytorch 實現彙總

Optimizor 定義: f θ f_\theta fθ​表示模型 θ t \theta_t θt​ 表示模型在更新t次後的參數 y ^ = f θ ( x ) \hat{y} = f_\theta(x) y^​=fθ​(x) 表示模型預測值 J ( y ^ , y ∗ ) J(\hat{y},y^*) J(y^​,y∗) 表示真值 y ∗ y^* y∗ 與預測值 y ^ \hat{y} y^​

>>阅读原文<<