深度學習優化理解tips

 一 dropout作用： 1 使深度模型變小，相當於減小參數個數，這樣在小規模訓練集的情況下自然可以防止過擬合； 2 cannot rely on any one feature, so have to spread out weights. 每個node隨機刪除，這樣可以防止模型過度依賴某幾個node. 比如某一個node有四個輸入參數x1 x2 x3 x4, 這樣將四個輸入的權重分散，相當於

>>阅读原文<<