dropout，batch norm的使用順序，訓練和測試時的差異

batch norm和dropout都可以起到正則化的作用，防止過擬合。 dropout： dropout通俗理解就是，在神經網絡訓練的時候，有時因爲神經元過多，模型參數過多等原因而導致過擬合，dropout以概率p讓一部分神經元失活，從而達到降低過擬合的效果。如下圖所示，使用dropout後，一部分神經元不參與訓練。  在前向傳播時，假設有這一層n個神經元，則我們可以假設每個神經元的概率都是0~

>>阅读原文<<