論文筆記-Training RNNs as Fast as CNNs

摘要 由於在並行狀態計算上的內在困難，RNN架構很難擴展。 比如，h_t 的前向計算被阻止直到 h_(t−1) 的整個計算結束，這對並行計算來說是一個主要的瓶頸。在這項工作中，我們提出了Simple Recurrent Unit (SRU) 架構，簡化了計算並展現更多的並行性。在SRU中，每一步的大部分計算都是獨立的，可以很容易的並行化。SRU和卷積層一樣快，並且優化後的LSTM實現快5-10x。

>>阅读原文<<