Language Modeling with Gated Convolutional Networks ( GLU )理解

簡介 門控線性單元(GLU)是卷積神經網絡中的一種門控機制,與循環神經網絡的門控循環單元(GRU)不同的的是更加進行梯度容易傳播,不易造成梯度消失或者梯度爆炸。而且在計算時間上也大幅度減少。 GLU計算過程 卷積網絡就是對輸入進行卷積以獲得H = f ∗ w,因此沒有時間依賴性,這使得在句子的單個單詞上更容易並行化。這個計算過程將根據多個先前單詞來計算每個上下文。 與遞歸網絡相比,上下文的大小是有
相關文章
相關標籤/搜索