FRN+TLU，小batch size訓練的福音

論文地址：https://arxiv.org/pdf/1911.09737.pdf 筆記內容： 論文總覽 論文圖表與內容 Normalization各種方法回顧（BN,GN,LN,IN）   論文總覽： 1、解決的問題：BN（Batch Normalization）在mini-batch尺寸太小的時候會降低訓練效果，GN（Group Normalization）,Batch Renormaliza

>>阅读原文<<