python實現多元線性迴歸梯度降低法與牛頓法

文章目錄 梯度降低法 基本概念 1.微分 2.梯度 3.學習率 梯度降低法的通常求解步驟： 牛頓法 運用牛頓法的通常步驟 參考文獻 梯度降低法 基本概念 1.微分 在梯度降低法中，咱們所要優化的函數必須是一個連續可微的函數，可微，既可微分，意思是在函數的任意定義域上導數存在。若是導數存在且是連續函數，則原函數是連續可微的（可微必可導，可導必連續）。在高等數學中，咱們知道函數的導數（近似於函數的微分

>>阅读原文<<