機器學習&深度學習&強化學習筆記整理（二）——最小二乘法

1.最小二乘法 最小二乘法也叫做損失最小化學習法，適用於較小規模數據的學習，有過擬合的弱點。 梯度下降法是適用於大規模數據學習的算法，該方法的收斂速度依賴於梯度下降的步幅及收斂結果的判斷方法。   2.帶有約束條件的最小二乘法 原因：當參數較多時，求解參數及學習得到的函數的輸出值的過程耗費大量的時間 優點：省時、防止過擬合 （1）部分空間約束的最小二乘法 只使用參數空間的一部分，保證參數θ不偏移到

>>阅读原文<<