深度學習：深度模型中的優化

機器學習中的優化   1、經驗風險最小化 機器學習算法的目標是降低目標函數的期望泛化誤差，這個數據被稱爲風險 將機器學習問題轉化爲一個優化問題的最簡單方法是最小化訓練集上的期望損失。這意味着用訓練集上的經驗分佈替代真實分佈。現在，我們將最小化經驗風險： m表示訓練樣本的數目 基於最小化這種平均訓練誤差的訓練過程被稱爲經驗風險最小化（容易導致過擬合）   2、代理損失函數和提前終止 由於精確地最小化

>>阅读原文<<