神經網絡中的**函數

1、**函數的作用 在神經網絡中，**函數的作用是能夠給神經網絡加入一些非線性因素，使得神經網絡能夠很好的解決比較複雜的問題。 如果不使用**函數，神經網絡中的每一層的輸出只是承接了上一層輸入函數的線性變換，無論神經網絡有多少層，輸出都是輸入的線性組合。 2、**函數的發展經歷了Sigmoid–>Tanh–>ReLU–>Leaky ReLU–>Maxout這樣的過程，還有一個特殊的**函數Soft

>>阅读原文<<