XLM解讀(論文 + PyTorch源碼)

這篇論文是Facebook在BERT的基礎上發展出來的Cross-Lingual版本,即多語的。BERT的github上實際上也有一個多語版本的,但卻沒有提到是怎麼訓練的,也沒有任何的信息。這裏的XLM提出了一些策略用於多語言學習,並與multi-lingual的BERT進行了對比,效果確實會好。html 文章目錄 一. 前言 二. XLM原理 1. 多語詞表構建 2. 預訓練任務 3. 預訓練流
相關文章
相關標籤/搜索