GELU 激活函數

GELU的全稱是GAUSSIAN ERROR LINEAR UNIT 與Sigmoids相比，像ReLU，ELU和PReLU這樣的激活可以使神經網絡更快更好地收斂。 此外，Dropout通過將一些激活數乘以0來規範化模型。 以上兩種方法共同決定了神經元的輸出。但是，兩者彼此獨立工作。GELU旨在將它們結合起來。 另外，稱爲Zoneout的新RNN正則化器將輸入隨機乘以1。 我們希望通過將輸入乘以0

>>阅读原文<<