「Deep Learning」Note on GELU(Gaussian Error Linear Unit)

Sina Weibo:小鋒子Shawn Tencent E-mail:[email protected] http://blog.csdn.net/dgyuanshaofeng/article/details/80209816 Sigmoid激活函數雖然具有概率解釋(probabilistic interpretation),但是具有如下缺點:1、使得網絡收斂較慢(slow);2、使得網絡參數解收
相關文章
相關標籤/搜索