BN相關知識點和麪試問題整理

主要問題：BN的基本原理，手寫BN的基本公式，BN放在什麼位置，BN在訓練和測試階段有什麼不同，BN爲什麼可以防止過擬合？ BN的基本原理 BN的思路是調整各層的**值分佈，使其具有適當的廣度，使每一層神經網絡的輸入在深度神經網絡訓練中保持相近分佈，其優點爲 1.可以使學習快速進行（可以增大學習率） 2.不那麼依賴初始值（對初始值沒那麼敏感） 3.抑制過擬合（降低Dropout等的必要性） BN的

>>阅读原文<<