如何應對Seq2Seq中的「根本停不下來」問題？

  ©PaperWeekly 原創 · 作者｜蘇劍林 單位｜追一科技 研究方向｜NLP、神經網絡 在 Seq2Seq 的解碼過程中，我們是逐個 token 地遞歸生成的，直到出現 標記爲止，這就是所謂的「自迴歸」生成模型。然而，研究過 Seq2Seq 的讀者應該都能發現，這種自迴歸的解碼偶爾會出現「根本停不下來」的現象，主要是某個片段反覆出現，比如「今天天氣不錯不錯不錯不錯不錯...」、「你覺得我

>>阅读原文<<