詳解機器學習中的梯度消失、爆炸緣由及其解決方法

前言 本文主要深刻介紹深度學習中的梯度消失和梯度爆炸的問題以及解決方案。本文分爲三部分，第一部分主要直觀的介紹深度學習中爲何使用梯度更新，第二部分主要介紹深度學習中梯度消失及爆炸的緣由，第三部分對提出梯度消失及爆炸的解決方案。有基礎的同鞋能夠跳着閱讀。 其中，梯度消失爆炸的解決方案主要包括如下幾個部分。html - 預訓練加微調 - 梯度剪切、權重正則（針對梯度爆炸） - 使用不一樣的激活函數 -

>>阅读原文<<