機器學習--「跳出」局部最小值

在現實的任務上，「跳出」局部最小值可以有三種思想進行考慮。 1.以多組不同的參數值初始化多個神經網絡，按標準化方法訓練後，取其中誤差最小的解作爲最終的參數，這相當於從多個不同的初始點開始進行探索，這樣就可能陷入不同的局部極小，從中進行有可能獲得更接近全局最小的結果. 2. 使用「模擬退火」技術,「模擬退火」在每一步都會以一定的概率接受比當前更差的結果，從而有助於「跳出」局部最小，在每一步的迭代的過

>>阅读原文<<