理解神經網絡中的Dropout

dropout是指在深度學習網絡的訓練過程中，對於神經網絡單元，按照一定的概率將其暫時從網絡中丟棄。注意是暫時，對於隨機梯度下降來說，由於是隨機丟棄，故而每一個mini-batch都在訓練不同的網絡。 過擬合是深度神經網（DNN）中的一個常見問題：模型只學會在訓練集上分類，這些年提出的許多過擬合問題的解決方案，其中dropout具有簡單性而且效果也非常良好。 算法概述 我們知道如果要訓練一個大型的

>>阅读原文<<