RELU是分段線性函數，怎麼實現非線性呢？

ReLu雖然在大於0的區間是線性的，在小於等於0的部分也是線性的，但是它整體不是線性的，因爲不是一條直線。多個線性操作的組合也是一個線性操作，沒有非線性激活，就相當於只有一個超平面去劃分空間。但是ReLu是非線性的，效果類似於劃分和摺疊空間，組合多個（線性操作 + ReLu）就可以任意的劃分空間。 對於淺層的機器學習，比如經典的三層神經網絡，用它作爲激活函數的話，那表現出來的性質肯定是線性的。但是

>>阅读原文<<