Discovering Neural Wiring(2019 nips, nas)

概述: 這篇文章的感覺是用剪枝的思想來學習神經元（通道)之間的連線。   算法： 將channel作爲node，edge對應weight 首先將邊分爲： 劃分的依據是edge的權重|weight|的大小，取前k大爲實邊 在前向傳播的時候將信息只在實邊上流通，如圖： v點的輸入信息表示爲： u點的信息即可表示爲：   f函數是激活函數、batchnorm、conv的組合   在反向傳播的時候，讓梯度

>>阅读原文<<