bert

1. 概述 通過預訓練語言表徵完成NLP任務主要分爲兩大類：feature-base、fine-tuning。前者如ELMo，它將學習的表徵作爲feature提供給下面的任務，下游任務提供模型；後者如Open GPI、ULMFiT，它們在fine tune預訓練中學習到參數，不需要下游提供task-specific的模型。這兩類在預訓練時都使用了同樣的目標函數，同時也都使用了單向的語言模型。 這些

>>阅读原文<<