continouns dropout論文筆記

本文主要觀點:Dropout方法提出使隱藏層的神經元以50%的概率被丟棄,其輸出爲零且相應權值在本次迭代中不被訓練,從而避免模型在數據集較小情況下的過擬合問題。對於訓練一個n層的隱藏層,其潛在規模的神經元集合爲2^n個。本文提出了continouns dropout的方法,神經元的丟棄概率不再服從Bernoulli的01分佈,而是使其服從連續的概率分佈,如Uniform或Guassian,更好地避
相關文章
相關標籤/搜索