優化 -座標上升法

在求解a的時候，除了採用梯度下降法，還可以採用座標上升法。 最裏面語句的意思是固定除ai之外的所有a，這時W可看作只是關於 ai的函數，那麼直接對ai求導優化即可。這裏我們進行最大化求導的順序i是從1到m，可以通過更改優化順序來使W能夠更快地增加並收斂。如果W在內循環中能夠很快地達到最優，那麼座標上升法會是一個很高效的求極值方法。 橢圓代表了二次函數的各個等高線，變量數爲2，起始座標是(2,-2)

>>阅读原文<<