《動手學深度學習》(PyTorch版)要點筆記 - 5 【3.13 丟棄法】

目錄 丟棄法 丟棄法 除了的權重衰減以外，深度學習模型常常使用丟棄法（dropout）來應對過擬合問題。 當對該隱藏層使用丟棄法時，該層的隱藏單元將有一定概率被丟棄掉。設丟棄概率p，那麼有p的概率hi會被清零，有1−p的概率hi會除以1−p做拉伸。丟棄概率是丟棄法的超參數。具體來說，設隨機變量ξi爲0和1的概率分別爲p和1−p。使用丟棄法時我們計算新的隱藏單元h′i 由於E(ξi)=1−pE 即丟

>>阅读原文<<