學習筆記5-梯度爆炸和梯度消失（K折交叉驗證）

1、梯度消失、梯度爆炸 梯度消失和梯度爆炸 考慮到環境因素的其他問題 1.1 本次課程主要任務 瞭解學習梯度消失與梯度爆炸產生的原因以及怎麼樣解決。 考慮到環境因素的其他問題（協變量偏移，標籤偏移，概念偏移） 1.2 學習收穫總結 當神經網絡的層數較多時，模型的數值穩定性容易變差。容易發生梯度消失以及梯度爆炸。 隨機初始化可以有效減緩梯度爆炸。 協變量偏移：用A訓練集訓練的模型，被用於B測試集。（

>>阅读原文<<