梯度消失 + 梯度爆炸

-正交初始化->解決梯度消失/爆炸函數

- 使用ReLU激活函數->解決梯度消失 
- 對梯度進行剪切(gradient clipping)->解決梯度爆炸 
- 引入更復雜的結構,例如LSTM、GRU->解決梯度消失ip