nlp模型-bert從入門到精通（一）

從0到1瞭解模型的優缺點 從現在的大趨勢來看，使用某種模型預訓練一個語言模型看起來是一種比較靠譜的方法。從之前AI2的 ELMo，到 OpenAI的fine-tune transformer，再到Google的這個BERT，全都是對預訓練的語言模型的應用。 BERT這個模型與其它兩個不同的是： 1、它在訓練雙向語言模型時以減小的概率把少量的詞替成了Mask或者另一個隨機的詞。這個目的在於使模型被迫

>>阅读原文<<