深度學習筆記：交叉熵(cross-entropy)損失函數解決二次型帶來的學習速率下降問題

我們都希望我們的神經網絡能夠根據誤差來加快學習的速度。但實際是什麼樣的呢？讓我們先來看一個例子： 這個網絡只有一個神經元，一個輸入一個輸出： 我們訓練這個網絡做一個簡單的任務，輸入1，輸出0.當然這種簡單的任務我們可以不用任何學習算法就可以 手動算出權重值。但我們這次試用梯度下降法嘗試獲得權重值和偏置值，損失函數使用二次型函數。接下來 讓我們看看這個神經元是怎麼學習的。 首先，我選擇輸入x = 1

>>阅读原文<<