DenseNet實現

關於Dropout: 每個denseblock中的小block後都有一個dropout,查看源碼試圖搞清楚這裏dropout的實現方法,但沒有查詢到dropout的最終實現,在_VF中。 爲了減少GPU顯存的使用,這裏將第一個bn進行了checkpoint,即不儲存反向傳播的輸出,在有需要時重新計算,這個操作以較小的時間開銷換取了大量的顯存空間。 kaiming初始化實現:
相關文章
相關標籤/搜索