激活函數之ReLU函數

0 前言 激活函數的引入是爲了增長神經網絡模型的非線性，沒有激活函數每層就至關於矩陣相乘。每一層輸出都是上層的輸入的線性函數，不管神經網絡多少層，輸出都是輸入的線性組合，就是最原始的感知機網絡 加入激活函數，給神經元引入非線性因素，神經網絡能夠任意逼近任何非線性函數，這樣神經網絡就能夠應用到衆多的非線性模型中。函數 1 激活函數之ReLU函數 ReLU函數是目前比較火的一個激活函數,函數公式：，函

>>阅读原文<<