認識神經網絡：卷積，歸一化，優化和語料

引言 一個基於神經網絡模型的視覺模型中，卷積和歸一化層是最爲耗時的兩種layer。卷積數據計算密集類型，今年來大量的優化主要集中在各種設備上的卷積加速。 歸一化層通過計算一個批量中的均值與方差來進行特徵歸一化。衆多實踐證明，它利於優化且使得深度網絡易於收斂。批統計的隨機不確定性也作爲一個有利於泛化的正則化項。BN 已經成爲了許多頂級計算機視覺算法的基礎。添加歸一化層作爲提高算法性能的很好的一種策略

>>阅读原文<<