綠盟一面

常見跳出局部最小值策略 現實任務中，人們常採用以下策略來試圖「跳出」局部最小值，從而達到全局最小值： 1、以多組不同參數值初始化多個神經網絡，按標準方法訓練後，取其中誤差最小的解作爲最終參數，這相當於從多個不同的初始化點開始搜索，從而可能尋找全局最優。 2、使用模擬退化技術，模擬退火在每一步都以一定的概率接受比當前解更差的結果，從而有助於「跳出」局部極小。在每步迭代過程中，接受「次優解」的概率隨着

>>阅读原文<<