從3類函數中理解機器學習

3類函數

• 凸函數

• 凹函數

• 其餘類別函數

---

函數性質

• 凸函數：凸函數的任何極小值也是最小值。嚴格凸函數最多有一個最小值。
• 凹函數：凹函數的任何極大值也是最大值。嚴格凹函數最多有一個最大值。
• 非凹凸函數：有多個極大極小值，只有局部最優解

---

機器學習的任務

• 機器學習的任務能夠理解成下圖：從一堆輸入，通過處理，獲得想要的輸出

• 這個機器學習任務流程，能夠抽象成函數：y=f(x)，x爲輸入，y爲理想的輸出
• 因而乎，機器學習就能夠看做是求函數y=f(x)的最優解了

---

損失函數（ loss）的引入

• 所謂的損失函數，就是用來衡量預測值和實際值之間的偏差
• 咱們的目標就是，找到使損失函數達到最小值時候的參數

---

過擬合和欠擬合問題

• 判斷機器學習是否執行得好，有如下2個目標：

-- 使訓練錯誤率儘量低（能夠經過神經網絡，函數逼近的方法）
-- 使訓練錯誤率與測試錯誤率的差距儘量小（能夠用正則化的方法）

• 欠擬合：訓練錯誤率比較高
• 過擬合：測試錯誤率與訓練錯誤率差距比較大

---

訓練

• 咱們的目標是，找到使損失函數達到最小值時候的參數
• 此時，咱們能夠對損失函數進行求導（導數也成爲梯度），尋找極值，經常使用的方法有：隨機梯度降低（SGD）
• 訓練就是不斷尋找使損失函數達到最小值時候的參數的過程，由於通常的函數具備多個局部最優解