激活函數

  歡迎轉載，作者：Ling，註明出處：深度學習：原理簡明教程06-深度學習:激活函數   本節主要來討論激活函數相關內容。   我們之前已經見過的激活函數：sigmoid，relu   每個神經元結構： 都有一個激活函數。 激活函數一般有啥性質？ 一般是輸入的非線性變化。 爲什麼要非線性變化的激活函數？ 我們看看如果沒有非線性變化的激活函數是什麼情況： 通過推導可以看出，a[2]等於x輸入的線性

>>阅读原文<<