關於局部最優

在開始學習梯度下降的時候，總會有這樣的疑問：梯度下降只能到達局部最優，萬一到達了一個較大的局部最優，錯過了較小的全局最優或是另外一個更小的局部最優，那麼是不是算法是失敗呢？ 其實在機器學習的大數據背景下，隨機到達的局部最優點與全局最優點雖然有差距，但是也足夠優秀。 而且到達局部最優的可能性也不是很大。 單獨看一個特徵，到達梯度爲0的情況有兩種： 而100個特徵全部到達右邊這種情況的概率值約爲 1

>>阅读原文<<