性能優化 牛頓法理論推導

關於牛頓法中公式的來源： 參考：牛頓法原理推導 牛頓法一步到位的解釋： 目標均爲使代價函數最小化 梯度下降的思路：找到代價函數負梯度，走一小步。步子不能太大，否則前面梯度轉向就不好了，畢竟又沒有算二階導，這函數的梯度那，就是無法預料。 牛頓法的思路：最小化代價函數，就是求f'(x)=0時的x，每一步都努力讓f'(x)=0就好了。怎樣做到呢？求出f'(x)的變化方向，即f''(x)，讓接下來走的一步

>>阅读原文<<