Dynamic ReLU 解讀

論文地址：https://arxiv.org/pdf/2003.10027.pdf 這是Microsoft團隊2020年發表的文章，提出動態relu激活函數稱之爲DY-RELU，比普通的relu函數效果好。 簡介：以前的relu不論是有參數的還是沒用參數的都是靜態的，本文提出動態relu，其參數（一個機能增強函數）由所有輸入元素決定，其關鍵原理是DY-RELU編碼全局上下文信息到它的機能增強函數中

>>阅读原文<<