Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks

來源：NIPS 2015 本文介紹了decode時採樣的一種新方法，稱爲「curriculum learning」（課程學習），對應的採樣方法叫做「scheduled sampling」（計劃採樣）。 傳統方法的問題：傳統的神經網絡訓練時和預測時的輸入不一樣。 比如對於上圖這種網絡結構，訓練時上一步的y是真實序列標記，然後做爲輸入到下一步，而預測時上一步的y是模型的輸出，然後再做爲下一步的輸入。這

>>阅读原文<<