斯坦福CS231n計算機視覺-神經網絡的隨機失活

具體操作：對於一個三層網絡來說，就是每次每層計算輸出，以一定概率乘以一個掩碼0，一般爲50%，從而讓一半的輸出無效化，對於被選中的節點，就相當於失活了。 那麼爲什麼要隨機失活？ 解釋一： 避免過擬合 一個貓的特徵是多種的，但有時候某些特徵過於明顯導致其他特徵不明顯，從而抑制了其他特徵的在網絡中的表述，這就是對明顯特徵的過擬合，所以失活可以使你的表徵對於圖片的表示是冗餘的，由於每一個特徵都有可能失活

>>阅读原文<<