隨筆小計-dropout

1、什麼是dropout？ 字面意思dropout=drop+out即退出的意思，在神經網絡訓練過程中，隨機讓某一個神經元退出或者丟棄，當然此次的丟棄只存在於當前的batch中，對於隨機梯度下降來說，每一個batch訓練的網絡都不盡相同。 2、droput有啥優點 防止過擬合，提高模型泛化能力 3、怎麼實現的 1. 訓練 給每個神經元加一個概率 用公式表示： 沒有dropout的神經網絡 有dro

>>阅读原文<<