梯度下降算法詳解

梯度下降算法詳解   介紹             如果說在機器學習領域有哪個優化算法最廣爲認知，用途最廣，非梯度下降算法莫屬。梯度下降算法是一種非常經典的求極小值的算法，比如在線性迴歸裏我們可以用最小二乘法去解析最優解，但是其中會涉及到對矩陣求逆，由於多重共線性問題的存在是很讓人難受的，無論進行L1正則化的Lasso迴歸還是L2正則化的嶺迴歸，其實並不讓人滿意，因爲它們的產生是爲了修復此漏洞，而

>>阅读原文<<