深度學習：歸一化

深度學習中的歸一化 批量歸一化 自歸一化網絡 主要內容與結構 主要內容：歸一化問題 結構： 深度模型的激活函數 激活函數導致的梯度消失 sigmoid tanh relu ELU 批量歸一化 層輸出對下一層的影響 每一層的梯度都與來自前一層的輸入有關。避免梯度消失 批歸一化+仿射變換層（線性層）：防止將那些本該在平坦區域卻被我們歸一化變換到梯度不平坦的區域帶來的影響；同時保持網絡穩定（讓輸入穩定）

>>阅读原文<<