Batch Norm、Layer Norm、Instance Norm、Group Norm、Switchable Norm總結

目錄   1.綜述 1. BN 2. LN 3. IN 4. GN 5. SN 2. 結論 1.綜述 在入門深度學習時就深度學習中的一些概念做了一些介紹,但隨着學習的不斷深入,一些網絡優化的技巧越來越多,才發現之前的理解的不夠深入。在這裏有對BN的理解,對出現的幾種歸一化進行一些個人理解的介紹,首先看一個直觀圖   歸一化層,目前主要有這幾個方法,Batch Normalization(2015年
相關文章
相關標籤/搜索