次梯度法

在前文梯度下降法（一）從導數到梯度下降法的基本邏輯中指出，當函數梯度不存在時候，梯度下降法失效，而次梯度法則是凸優化中解決此類狀況的一種有效方法。 一、基本定義 爲了介紹次梯度的概念，首先需要引入次導數、次微分等概念。這些概念源於導數、微分，但又有顯著的區別。 1. 次導數 下圖中的一元函數均爲凸函數，但在其拐點處不可導。觀察拐點A、B處的直線，按照其與原始函數的位置關係，可分爲如下兩大類： 1）

>>阅读原文<<