深度學習（五）——DRN, Bi-directional RNN, Attention, seq2seq, DMN

https://antkillerfarm.github.io/ 神經元激活函數進階 ReLU的缺點（續） 爲了解決上述問題，人們提出了Leaky ReLU、PReLU、RReLU、ELU、Maxout等ReLU的變種。 參考： https://zhuanlan.zhihu.com/p/22142013 深度學習中的激活函數導引 http://blog.csdn.net/u012328159/ar

>>阅读原文<<