超參數調試

1. 隨機選取，而不是grid search：舉個極端的例子，比如Adam algorithm中的learning rate 和 爲了防止0爲分母而加的一個比較小的值，很明顯搜索後者是沒什麼用的，如果用5*5的grid search，最重要的learning rate只搜索了5個，而如果random的話可以search到25個learning rate  2. 在合適的範圍內隨機選取超參數，比如有

>>阅读原文<<