LSTM一般最多堆疊多少層

在大規模翻譯任務的經驗中,簡單的堆疊LSTM層最多可以工作4層,很少工作6層,超過8層就很差了。 Redisual connection有助於梯度的反向傳播，能夠幫助lstm堆疊更多層，實現更深層的訓練，但是一般也就是最多到8層。 參考文獻： 1.https://arxiv.org/pdf/1609.08144.pdf

>>阅读原文<<