BN,IN,LN,GN,SWN的區別與聯繫

查過很多次，但是一旦一段時間過去後，就會忘記，還是自己做個總結比較好。 首先Normalization做的是規範化，假設原數據是多維向量，符合某種均值與方差的正態分佈，那麼規範化就是在多維向量的某些維度上，將向量正態分佈的均值與方差變爲0與1。不同的normalization的區別在於均值與方差計算方式的不同，將均值u與方差d計算出來後，對多維向量的每個元素進行如下操作：(x-u)/d。 均值與方

>>阅读原文<<