Multi-Sample Dropout

本文闡述的也是一種 dropout 技術的變形——multi-sample dropout。傳統 dropout 在每輪訓練時會從輸入中隨機選擇一組樣本（稱之爲 dropout 樣本），而 multi-sample dropout 會創建多個 dropout 樣本，然後平均所有樣本的損失，從而得到最終的損失。這種方法只要在 dropout 層後複製部分訓練網絡，並在這些複製的全連接層之間共享權重就

>>阅读原文<<