深度學習——訓練過程

傳統神經網絡的訓練方法爲何不能用在深度神經網絡？算法 BP算法做爲傳統訓練多層網絡的典型算法，實際上對僅含幾層網絡，該訓練方法就已經很不理想。涉及多個非線性處理單元層的深度結構的非凸目標代價函數中廣泛存在的局部最小是訓練困難的主要來源。網絡 BP算法存在的問題：函數 一、梯度愈來愈稀疏：從頂層越往下，偏差校訂信號愈來愈小；學習 二、收斂到局部最小值：尤爲是從遠離最優區域開始的時候（隨機值初始化會致

>>阅读原文<<