神經網絡基本講解（神經網絡、激活函數、歸一化與批歸一化、dropout）

深度神經網絡：層次非常深的神經網絡 歸一化：把輸入數據做一個規整，使得它均值爲0，方差爲1。 Min-max歸一化：x’=(x-min)/(max-min) Z-score歸一化：x’=(x-u)/O 批歸一化：把歸一化的思路從輸入數據上，擴展到網絡的每層激活值上。 左圖：未歸一化，等高線是橢圓，在橢圓上計算梯度時，指向的不一定是圓心，訓練軌跡曲折。 右圖：歸一化，等高線是正圓。法線方向對着圓心。

>>阅读原文<<