神經網絡的學習技巧（含損失函數與激活函數關係、初始值、優化函數、DropOut等等）

0 寫在前面 本文爲了讓初學者更加簡單、直觀地理解神經網絡在訓練中的技巧，以及明白爲什麼這樣做能有效地提高訓練效率，將神經網絡中的本質過程一一闡述，弄清楚這些原理對初學者大有裨益。 本博客的內容絕大部分摘錄於[日]齋藤康毅的《深度學習入門——基於Python的理論與實現》 1 輸出層函數與損失函數的聯繫 神經網絡在進行反向傳播時，經過輸出層函數得到預測輸出與監督數據的差分 y i − t i y_

>>阅读原文<<