Encoder-Decoder 預訓練

Encoder-Decoder模型預訓練 經過對Encoder-Decoder模型進行預訓練可以有效的提升模型的訓練效果。 seq2seq模型在數據集比較小的狀況下，容易過擬合，在《Unsupervised Pretraining for Sequence to Sequence Learning》一文中提出了使用非監督的預訓練來提高seq2seq模型的訓練效果。該方法主要是經過兩個語言模型對en

>>阅读原文<<