UNSUPERVISED PRETRAINING TRANSFERS WELL ACROSS LANGUAGES

UNSUPERVISED PRETRAINING TRANSFERS WELL ACROSS LANGUAGES 1. 論文思路: 作者基於CPC的自監督預訓練方法提出了改進版本,解決了原CPC配置中encoder通過batch normalization 泄露信息的問題,並用一層Transformer layer 提升了phoneme 的表徵能力。最終得出的主要結論是:通過改進版cpc學習到的表
相關文章
相關標籤/搜索