Dropout與DropConnect

爲了防止模型過擬合，dropout是一種trick，之前提到Batch Normalization的使用可以不必再使用dropout，但是我們還是有必要溫習下什麼是dropout。 Dropout dropout在全連接層使用。在訓練階段，對於每個節點，以p概率將其輸出值保留，以1-p概率將其輸出值乘以0。在測試階段，輸出結果要乘以p。原因是：保持訓練階段和測試階段的期望值相同。訓練階段，對於每個

>>阅读原文<<