神經網絡作深原因及dropout防止過擬合原因

 網絡加深原因: 深度學習不是模型,更像是一個框架,加上各種模型,構成新的模型。  與單層神經網絡相比,深層次神經網絡可在具有相同表示能力的前提下,具有更低的時間複雜度。簡化模型   深層神經網絡難以訓練: 因爲存在梯度消失問題,底層的神經元可能就訓練不到了 解決方法: layer-wise pretraing:即一層一層的來優化,用RBM/autoencoding方法,解決梯度消失的問題,目前用
相關文章
相關標籤/搜索