深度學習中的trick

下面淺談深度學習中的技巧。 學習率（learning rate） 學習率的設置應該隨着迭代次數的增加而減小，每迭代完指定次epoch也就是對整個數據過一遍，然後對學習率進行變化，這樣能夠保證每個樣本得到公平的對待。 卷積神經網絡CNN中的技巧 CNN中將一個大尺寸的卷積核分解成多層的小尺寸的卷積核或者分解成多層的一維卷積，這樣能夠減少參數並增加非線性。 CNN中的網絡設計應該逐漸減少圖像尺寸，同時

>>阅读原文<<