深度學習——預訓練

深度網絡存在問題: 網絡越深，須要的訓練樣本數越多。若用監督則需大量標註樣本，否則小規模樣本容易形成過擬合（深層網絡意味着特徵比較多，機器學習裏面臨多特徵：一、多樣本 二、規則化 三、特徵選擇）； 多層神經網絡參數優化是個高階非凸優化問題，常收斂較差的局部解； 梯度擴散問題，BP算法計算出的梯度隨着深度向前而顯著降低，致使前面網絡參數貢獻很小，更新速度慢。 解決方法：算法 逐層貪婪訓練，無監督預訓

>>阅读原文<<