「Deep Learning」Note on GELU（Gaussian Error Linear Unit）

Sina Weibo：小鋒子Shawn Tencent E-mail：[email protected] http://blog.csdn.net/dgyuanshaofeng/article/details/80209816 Sigmoid激活函數雖然具有概率解釋（probabilistic interpretation），但是具有如下缺點：1、使得網絡收斂較慢（slow）；2、使得網絡參數解收

>>阅读原文<<