預訓練模型小結：XLNet\Transformer-xl\Bert\GPT\ELMo

大綱 1 語言模型 2 XLNet XLNET好處 XLNet 創新點 應用 3 Transformer-xl 3.1 segment-level recurrence mechanism 3.2 relative positional encoding 4 Bert 階段1：語言模型 階段2：fine-tune 5 GPT 6 ELMo 7 其他 7.1 遷移的2種方法 7.2 零碎 7.3關於

>>阅读原文<<