梯度下降和牛頓法的數學解釋

看了ng梯度下降和牛頓法的內容，但是都是從直觀意義上講的。找了些資料，從數學方面給予更嚴謹的證明。 預備知識 (1) 泰勒展開式 (2) 無窮小 (3) 正定矩陣 一個n階的實對稱矩陣M是正定的的條件是當且僅當對於所有的非零實係數向量z，都有zTMz> 0。其中zT表示z的轉置。 無約束問題解的最優性條件 (1) 目標函數 (2) 局部最優解 D是可行域 (3) 定義—下降方向 可以理解爲f在某一

>>阅读原文<<