Language Modeling with Gated Convolutional Networks ( GLU )理解

簡介 門控線性單元（GLU）是卷積神經網絡中的一種門控機制，與循環神經網絡的門控循環單元（GRU）不同的的是更加進行梯度容易傳播，不易造成梯度消失或者梯度爆炸。而且在計算時間上也大幅度減少。 GLU計算過程 卷積網絡就是對輸入進行卷積以獲得H = f ∗ w，因此沒有時間依賴性，這使得在句子的單個單詞上更容易並行化。這個計算過程將根據多個先前單詞來計算每個上下文。 與遞歸網絡相比，上下文的大小是有

>>阅读原文<<