小白bert參數計算

針對上圖分別從每個部分進行計算。 BERT-Base, Uncased 12層，768個隱單元，12個Attention head，110M參數 BERT-Large, Uncased 24層，1024個隱單元，16個head，340M參數 BERT-Base, Cased 12層，768個隱單元，12個Attention head，110M參數 BERT-Large, Uncased 24層，1

>>阅读原文<<