前饋網絡訓練的困難

（早期）神經網絡通常使用隨機初始化和標準的梯度下降法來訓練，但是效果不好，這是由於非線性激活層飽和（雖然有時能夠自己走出飽和區域）。 目前已經通過良好的初始化和一些訓練策略取得了較好的訓練效果。 尤其是無監督的預訓練（目前來看已經是標準的初始化操作），可能的原因是由於無監督的預訓練相當於正則化矩陣，將參數設爲更加容易收斂的狀態。 但是目前我們致力於分析是什麼樣的原因使得訓練多層深度網絡變差。 無限

>>阅读原文<<