深度學習優化篇

模型要想訓得好，參數優化不可少。 激活函數 一個複雜的神經網絡，是有許多層的，其中最基本的單位便是神經元。一個線性神經元不斷堆疊下去，永遠都是線性關係。這就無法解決非線性問題，而不同的非線性映射函數的選擇，就是激活函數的研究課題了。 爲了解決非線性的問題，在感知機的基礎上發展出了多層神經網絡的概念。多層神經網絡由輸入層、多箇中間層，以及輸出層組成。 解決非線性問題的還可以使用非線性的激活函數，比如

>>阅读原文<<