GradNorm：Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks，梯度歸一化

文章目錄 引言 gradnorm   gradnorm論文地址：https://arxiv.org/abs/1711.02257html   gradnorm是一種優化方法，在多任務學習（Multi-Task Learning）中，解決 1. 不一樣任務loss梯度的量級（magnitude）不一樣，形成有的task在梯度反向傳播中占主導地位，模型過度學習該任務而忽視其它任務；2. 不一樣任務收斂

>>阅读原文<<