如何設計神經網絡結構

1. start small
2. gradually increase the model size
3. small parameter, deep is better than wider; deep network is hard to optimize, 使用resnet的思想進行優化
4. kernel size ： 3*3 and 1*1 work the best
5. stride :
   1. 保留空間分辨率使用 stride = 1
   2. 下采樣使用stride = 2
   3. 上採樣使用stride = 1 or 2
6. batch Size:
   1. 一般使用32爲batch
   2. Noisy gradient : larger batch
   3. local minima : smaller batch
7. 劃分數據集
   1. 大的數據集如10W+: 99% train 1% test and valid
   2. 小的數據集如1W: 80% train 20% test and valid