預訓練語言模型整理（ELMo/GPT/BERT...）

  預訓練語言模型整理（ELMo/GPT/BERT...）簡介   預訓練任務簡介# 自迴歸語言模型# 自編碼語言模型 預訓練模型的簡介與對比 ELMo 細節# ELMo的下游使用# GPT/GPT2# GPT# 細節# 微調# GPT2# 優缺點# BERT# BERT的預訓練# 輸入表徵# Fine-tunninng# 缺點# ELMo/GPT/BERT對比，其優缺點# BERT-wwm# R

>>阅读原文<<