【機器學習】 激活函數和代價函數

【激活函數】 如果沒有激活函數，那麼神經網絡模型就是一個線性模型；即便有再多的隱藏層，整個網絡也只能等價於一個單層的神經網絡。有了激活函數以後，神經網絡就能建模非線性模型，能廣泛處理複雜的問題。 階躍函數：最早採用的激活函數是階躍函數，但其光滑性不好，所以實際中用光滑性較好的函數替代。 Sigmoid函數：Sigmoid函數具有可微性和單調性，輸出值的範圍是(0,1)，在物理意義上最接近生物神經元

>>阅读原文<<