論文筆記-Training RNNs as Fast as CNNs

摘要 由於在並行狀態計算上的內在困難,RNN架構很難擴展。 比如,h_t 的前向計算被阻止直到 h_(t−1) 的整個計算結束,這對並行計算來說是一個主要的瓶頸。在這項工作中,我們提出了Simple Recurrent Unit (SRU) 架構,簡化了計算並展現更多的並行性。在SRU中,每一步的大部分計算都是獨立的,可以很容易的並行化。SRU和卷積層一樣快,並且優化後的LSTM實現快5-10x。
相關文章
相關標籤/搜索