數學基礎筆記2微積分

無窮小階數 牛頓法和梯度下降法 很多機器學習和統計的算法最後都轉換成一個優化的問題，也就是求一個損失函數的極小值問題。 牛頓法和梯度下降法都只能求局部極小值，不能求全局最小值 兩種方法都必須有一個初始點x0 數學原理：牛頓法使用二階逼近，梯度下降法使用一階逼近 牛頓法對局部凸函數找到極小值，對局部凹函數找到極大值，不凸不凹的函數可能找到鞍點 梯度下降法一般不會找到最大值，但同樣會找到鞍點 初始值合

>>阅读原文<<