DeepLearning與Local minima

Yoshua Bengio研究組通過實驗發現，在訓練高維（參數）神經網絡時，幾乎不會遇到局部極小點（這與我們以往的直覺相背），但會存在鞍點，而這些鞍點只在某些維度上是局部極小的。鞍點會顯著減緩神經網絡的訓練速度，直到在訓練過程中找到正確的逃離方向。從下圖可以明顯看出這種現象，每當到達一個鞍點，都會「震盪」多次最終逃逸。 Bengio提供了一個淺顯易懂的解釋：我們假設在某個維度上，一個點是局部極小點

>>阅读原文<<