人腦是怎麼防止梯度消失和梯度爆炸的?

來源丨知乎問答 編輯丨極市平臺 本文部分授權自知乎問答，僅用於學術分享，著作權歸作者所有。 觀點一 作者丨冒藍火的加特林 感覺這個問題跟我的科研方向有一點關係，所以就厚着臉皮強答一波了。 （1）動物的神經元都是以脈衝的形式進行信息交流的，而脈衝是離散的，所以從數學角度人腦（往大了說就是動物）交換信息的方式是離散的，也就是不能求導，所以就不存在所謂的「梯度」這一概念了；當然也有論文可以建模，以一種僞

>>阅读原文<<