第09課：最常用的優化算法——梯度下降法

在這裏，我們有必要從抽象角度，先好好解釋一下優化算法。 學習的目標 在前面，我們講到，每一個機器學習模型都有一個目標函數，而學習的目標，就是最小化目標函數。 直觀而言，當我們已經獲得了一個函數，最小化該函數其實就是，在其自變量取值範圍內，找到使得因變量最小的那個自變量取值點。 是不是所有函數都能夠在自變量取值範圍內找到因變量最小值呢？顯然不是。 比如，這個多項式函數：y=x，x 屬於實數——這樣的

>>阅读原文<<