爲什麼Relu會導致死亡節點

y代表真實值，y_代表預測值，損失函數採用交叉熵損失函數如下 loss function：L(y,y_)=-(ylny_+(1-y)ln(1-y_)) 一般更新參數的方式，我們梯度下降的方式，目的是使得損失函數最小，達到一個能夠接受的局部最小值，當然如果能到達全局最小最好。 對損失函數的研究： 當y=1,y_=1 L=-ln1=0 當y=1,y_=0 L=無窮大 當y=0,y_=1 L=無窮大 當

>>阅读原文<<