梯度消失 + 梯度爆炸
-正交初始化->解決梯度消失/爆炸函數
- 使用ReLU激活函數->解決梯度消失
- 對梯度進行剪切（gradient clipping）->解決梯度爆炸
- 引入更復雜的結構，例如LSTM、GRU->解決梯度消失ip
相關文章
- 1. 梯度消失、梯度爆炸
- 2. 梯度消失與梯度爆炸
- 3. 梯度消失和梯度爆炸
- 4. 梯度爆炸與梯度消失
- 5. [nlp] 梯度消失＆梯度爆炸
- 6. 梯度消失/梯度爆炸
- 7. 梯度消失 梯度爆炸
- 8. 梯度消失或者梯度爆炸
- 9. 梯度消失與爆炸
- 10. 深度拾遺(01) - 梯度爆炸/梯度消失/Batch Normal
- 更多相關文章...
- • PHP 獲取圖像寬度與高度 - PHP參考手冊
- • HTTP 消息結構 - HTTP 教程
- • 算法總結-廣度優先算法
- • 算法總結-深度優先算法
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 梯度消失、梯度爆炸
- 2. 梯度消失與梯度爆炸
- 3. 梯度消失和梯度爆炸
- 4. 梯度爆炸與梯度消失
- 5. [nlp] 梯度消失＆梯度爆炸
- 6. 梯度消失/梯度爆炸
- 7. 梯度消失 梯度爆炸
- 8. 梯度消失或者梯度爆炸
- 9. 梯度消失與爆炸
- 10. 深度拾遺(01) - 梯度爆炸/梯度消失/Batch Normal