Seq2Seq模型中的label bias和exposure bias問題

從序列到序列的seq2seq模型中，存在着label bias和exposure bias問題。這兩個偏差問題是由於不同的原因導致的。先給出結論在分別解釋 label bias：根本原因是我們真實的目標與建模的目標不一致，導致模型最終求得的輸出和我們真實想要的輸出存在偏差。體現在聯合概率分佈上就是，真實想要的分佈應該是全局歸一化得到的。而建模得到的分佈是局部歸一化得到的。 exposure bia

>>阅读原文<<