nlp模型-bert從入門到精通(一)

從0到1瞭解模型的優缺點 從現在的大趨勢來看,使用某種模型預訓練一個語言模型看起來是一種比較靠譜的方法。從之前AI2的 ELMo,到 OpenAI的fine-tune transformer,再到Google的這個BERT,全都是對預訓練的語言模型的應用。 BERT這個模型與其它兩個不同的是: 1、它在訓練雙向語言模型時以減小的概率把少量的詞替成了Mask或者另一個隨機的詞。這個目的在於使模型被迫
相關文章
相關標籤/搜索