爲什麼要用交叉熵作爲代價函數

對於大多數人來說，犯錯是一件讓人很不開心的事情。但反過來想，犯錯可以讓我們意識到自己的不足，然後我們很快就學會下次不能再犯錯了。犯的錯越多，我們學習進步就越快。 同樣的，在神經網絡訓練當中，當神經網絡的輸出與標籤不一樣時，也就是神經網絡預測錯了，這時我們希望神經網絡可以很快地從錯誤當中學習，然後避免再預測錯了。那麼現實中，神經網絡真的會很快地糾正錯誤嗎？ 我們來看一個簡單的例子： 上圖是一個只有一

>>阅读原文<<