循環神經網絡的 Dropout

循環神經網絡（RNNs）是基於序列的模型，對自然語言理解、語言生成、視頻處理和其他許多任務至關重要。模型的輸入是一個符號序列，在每個時間點一個簡單的神經網絡（RNN單元）應用於一個符號，以及此前時間點的網絡輸出。RNNs是強大的模型，在許多任務中表現出色，但會快速過擬合。RNN模型中缺少正則化使他難以處理小規模數據，爲避免這種情況研究者經常使用提早停止，或者小規模的或未充分定義的模型。 Dropo

>>阅读原文<<