CNN(卷積神經網絡)、RNN(循環神經網絡)、DNN(深度神經網絡)的內部網絡結構的區別

先說DNN，從結構上來說他和傳統意義上的NN（神經網絡）沒什麼區別，但是神經網絡發展時遇到了一些瓶頸問題。一開始的神經元不能表示異或運算，科學家通過增加網絡層數，增加隱藏層可以表達。並發現神經網絡的層數直接決定了它對現實的表達能力。但是隨着層數的增加會出現局部函數越來越容易出現局部最優解的現象，用數據訓練深層網絡有時候還不如淺層網絡，並會出現梯度消失的問題。我們經常使用sigmoid函數作爲神經元

>>阅读原文<<