梯度消失和梯度爆炸

● 每週一言 時間，是成長的必要代價。 導語 在機器學習模型訓練的常見問題中，除了會遇到過擬合、欠擬合問題，還有一類問題也經常出現，那便是 梯度問題。梯度問題具體是什麼？又有哪些應對之法？ 梯度問題 梯度問題出現在深度神經網絡的殘差反向傳播過程當中，原因是神經網絡通過鏈式法則求解不同層的梯度，中間的連乘操作有可能導致殘差計算的不穩定性，使得模型訓練失效。梯度問題具體有兩種表現形式：梯度消失 和 梯

>>阅读原文<<