數據科學和機器學習中的優化理論與算法

> 數據科學和機器學習當前越來越熱，其中涉及的優化知識頗多。很多人在做機器學習或者數據科學時，對其中和優化相關的數學基礎，包括隨機梯度下降、ADMM、KKT條件，拉格朗日乘數法、對偶問題等，不太瞭解，一知半解地用，用着用着就出錯了。> > 本文希望從基礎知識的角度，儘可能全地對最簡單的優化理論和算法做一個小結。內容涵蓋以下幾個方面：優化簡介、無約束優化、線搜索方法、信賴域方法、共

>>阅读原文<<