神經網絡-損失函數

先上結論：在使用sigmoid做爲激活函數的時候，cross entropy相比於quadratic cost function，具備收斂速度快，更容易得到全局最優的特色；使用softmax做爲激活函數，log-likelihood做爲損失函數，不存在收斂慢的缺點。 對於損失函數的收斂特性，咱們指望是當偏差越大的時候，收斂（學習）速度應該越快。html 1、quadratic + sigmoid

>>阅读原文<<