機器學習中的梯度消失、爆炸原因及其解決方法(筆記1)

前言         本文主要深入介紹深度學習中的梯度消失和梯度爆炸的問題以及解決方案。本文分爲三部分，第一部分主要直觀的介紹深度學習中爲什麼使用梯度更新，第二部分主要介紹深度學習中梯度消失及爆炸的原因，第三部分對提出梯度消失及爆炸的解決方案。有基礎的同鞋可以跳着閱讀。 其中，梯度消失爆炸的解決方案主要包括以下幾個部分。 - 預訓練加微調 - 梯度剪切、權重正則（針對梯度爆炸） - 使用不同的激活

>>阅读原文<<