深度學習調參有哪些「硬核」技巧？

相信很多剛開始接觸深度學習朋友，會感覺深度學習調參就像玄學一般，有時候參數調的好，模型會快速收斂，參數沒調好，可能迭代幾次loss值就直接變成Nan了。 記得剛開始研究深度學習時，做過兩個小例子。一個是用tensorflow構建了一個十分簡單的只有一個輸入層和一個softmax輸出層的Mnist手寫識別網絡，第一次我對權重矩陣W和偏置b採用的是正態分佈初始化，一共迭代了20個epoch，當迭代完第

>>阅读原文<<