【論文筆記】Accelerated Training for Massive Classification via Dynamic Class Selection

衆所周知，類別較多的時候深度學習中無論是計算量還是參數都是巨大的，訓練效率也隨之降低，所以本文介紹高效訓練網絡。 觀察發現：                                   active class：對於一個輸入樣本，其輸出概率只集中在少量的類別中；         在softmax loss回傳梯度中：                  在迭代過程中，回傳梯度主要受這些活躍類

>>阅读原文<<