簡單分類任務的煉丹經驗

對於一些複雜的分類任務，adam（Nadam）往往具有很好的效果。但是對於一些簡單的分類任務卻並非如此。 兩張圖是在別處盜的，從圖中可以看出adadelta具有最快的收斂速度，在鞍區停留時間最短。對於簡單分類任務，有時爲了防止過擬合，往往使用很少的參數。這時正確的初始化方法配合收斂速度最快的adadelta是最好的選擇。 例如一個簡單的線性二分類問題（keras2.0下）： import matp

>>阅读原文<<