深度學習—— 最小二乘法 & 極大似然估計 & 梯度下降法

一、最小二乘法 狹義的最小二乘，指的是在線性迴歸下采用最小二乘準則（或者說叫做最小平方），進行線性擬合參數求解的、矩陣形式的公式方法。所以，這裏的「最小二乘法」應叫做「最小二乘算法」或者「最小二乘方法」，百度百科「最小二乘法」詞條中對應的英文爲「The least square method」。狹義的最小二乘方法，是線性假設下的一種有全局最優的閉式解的參數求解方法，最終結果爲全局最優； 而廣義的最

>>阅读原文<<