激活函數-Sigmoid, Tanh及ReLU

什麼是激活函數 在神經網絡中,我們會對所有的輸入進行加權求和,之後我們會在對結果施加一個函數,這個函數就是我們所說的激活函數。如下圖所示。 爲什麼使用激活函數 我們使用激活函數並不是真的激活什麼,這只是一個抽象概念,使用激活函數時爲了讓中間輸出多樣化,能夠處理更復雜的問題。 如果不適用結果函數的話,每一層最後輸出的都是上一層輸入的線性函數,不管加多少層神經網絡,我們最後的輸出也只是最開始輸入數據的
相關文章
相關標籤/搜索