自然語言菜鳥學習筆記（八）：激活函數

目錄 前言 爲什麼要激活函數？ 幾種激活函數 Sigmoid Tanh ReLU Leaky-ReLU ELU 激活函數的選擇 前言 學自然語言的時候，也不知道咋回事，就是頭冷。 爲什麼要激活函數？ 比如說對於一個神經網絡，我們不用激活函數是一個什麼樣紙？那麼我們可以假想激活函數是 f(x) = x，因爲沒有用激活函數嘛，也就是 y = x一個線性的存在，神經網絡的結構是層次的，高級的層次的輸入是

>>阅读原文<<