Encoder-Decoder 預訓練

Encoder-Decoder模型預訓練 通過對Encoder-Decoder模型進行預訓練能夠有效的提高模型的訓練效果。 seq2seq模型在數據集比較小的情況下，容易過擬合，在《Unsupervised Pretraining for Sequence to Sequence Learning》一文中提出了使用非監督的預訓練來提升seq2seq模型的訓練效果。該方法主要是通過兩個語言模型對en

>>阅读原文<<