基礎算法-梯度下降的原理

數學原理 梯度下降 梯度下降概述 why是用梯度下降： 1、求解正規方程時，求矩陣的逆內存消耗比較大，特別是當數據量和Xn非常大時，內存消耗很大。利用梯度下降求解，雖然沒有正規方程求解準確，但是降低了內存消耗，是一種折中的辦法。梯度下降一般不會達到最小值，一般會在最小值附近徘徊。 2、a.一個矩陣是方陣時纔可逆。X不一定可逆，雖然numpy庫會給出一個僞逆。b.A^-1 =A*/|A|，|A|等於

>>阅读原文<<