梯度下降與EM算法

機器學習兩個重要的過程：學習得到模型和利用模型進行預測。 下面主要總結對比下這兩個過程中用到的一些方法。 一，求解無約束的目標優化問題 這類問題往往出現在求解模型，即參數學習的階段。 我們已經得到了模型的表達式，不過其中包含了一些未知參數。 我們需要求解參數，使模型在某種性質（目標函數）上最大或最小。 最大似然估計： 其中目標函數是對數似然函數。爲了求目標函數取最大值時的theta。 有兩個關機鍵

>>阅读原文<<