斯坦福機器學習第三課——牛頓迭代法與廣義線性模型（Generalized Linear Models）

在進入正題之前，來討論一下牛頓迭代法。 和梯度求導法一樣，牛頓迭代法也是一種求最大似然的ℓ(θ)的方法。其基本過程爲： 1.找到曲線上橫座標x=0的點f(0) 2.對f(0)點做切線 3.切線和橫座標交於另外一點A1，再找到曲線上對應的點f(1) 4.對f(1)點做切線 5.依次重複以上過程，直到f(x)=0爲止。 與梯度求導法相比，牛頓迭代法收斂速度快，迭代次數少。但是代價高，因爲它要對N*N維

>>阅读原文<<