深度學習之最大似然估計、最小二乘、梯度下降（二）

一、機器學習中的最大似然、最小二乘、梯度下降 　　最小二乘和極大似然估計是目標函數，梯度下降是優化算法。機器學習的核心是一個模型，一個損失函數loss fuction，加上一個優化的算法。一個目標函數可以用不同的優化算法，不同的目標函數也可以用相同的優化算法。所以最小二乘和極大似然根本不是算法，和梯度下降毫無可比性。 　　PS:最小二乘和極大似然也不是對立的。最小二乘是從函數形式上來看的，極大似然

>>阅读原文<<