關於局部最優(Local Optima)

①在高維空間中，如2000維，不太可能出現局部最優的情況，因爲局部最優要求這20000個維度的梯度都爲0，這是很小概率的時間。 ②真正困擾優化問題的並不是局部最優，而是在鞍點附近的停滯區問題。     如下圖，鞍點並不是全局最優，但梯度下降會在鞍點附近花費很多時間，先降到鞍點，在鞍點附近受到擾動在降到其他地方。故採用動量，adam，RMSprop等方法來加快停滯區的訓練

>>阅读原文<<