【論文閱讀】Gradient Centralization: A New Optimization Technique for Deep Neural Networks

香港理工&阿里達摩院新作，操作優雅，一行代碼嵌入優化器提升性能！  ArXiv 鏈接：https://arxiv.org/abs/2004.01461 Github 鏈接：https://github.com/Yonghongwei/Gradient-Centralization   一、摘要 優化技術對有效地訓練深度神經網絡 (DNN) 而言具有重要意義。結果表明，利用一階和二階統計量 (如均值

>>阅读原文<<